[논문 리뷰] Robotic Self-Assessment of Competence

Gertjan J. Burghouts, A.G. Huizing외 1명|arXiv (Cornell University)|2020. 05. 04.

Cardiac Arrest and Resuscitation참고 문헌 5인용 수 6

한 줄 요약

이 논문은 동적 환경에서 AI 에이전트가 실시간으로 자신의 능력을 평가할 수 있도록 하는 로봇 자기 평가 프레임워크를 제안한다. 이는 낯선 상황을 탐지하고 필요에 따라 인간의 피드백을 요청함으로써 수행된다. 두 가지 방법—제로샷 능력 탐지 및 사전 지식 기반 일반화—를 사용하여 인간이 참여하는 피드백 루프를 통해 실제 주행 환경에서 능력 있음과 능력 없음의 상황 모두에서 신뢰성을 향상시킨다.

ABSTRACT

In robotics, one of the main challenges is that the on-board Artificial Intelligence (AI) must deal with different or unexpected environments. Such AI agents may be incompetent there, while the underlying model itself may not be aware of this (e.g., deep learning models are often overly confident). This paper proposes two methods for the online assessment of the competence of the AI model, respectively for situations when nothing is known about competence beforehand, and when there is prior knowledge about competence (in semantic form). The proposed method assesses whether the current environment is known. If not, it asks a human for feedback about its competence. If it knows the environment, it assesses its competence by generalizing from earlier experience. Results on real data show the merit of competence assessment for a robot moving through various environments in which it sometimes is competent and at other times it is not competent. We discuss the role of the human in robot's self-assessment of its competence, and the challenges to acquire complementary information from the human that reinforces the assessments.

연구 동기 및 목표

• 로봇 AI 에이전트가 낯선 또는 예측할 수 없는 환경에서 과도하게 자신감을 갖는 문제를 해결하기 위해.
• 로봇이 자신의 알려진 능력 영역을 벗어나 운영하고 있을 때 이를 탐지할 수 있도록 하기 위해.
• 사전 지식이 없거나 의미적 사전 지식이 있을 경우에도 온라인 실시간 능력 평가 방법을 개발하기 위해.
• 인간의 피드백을 효과적으로 통합하여 로봇의 자기 평가 정확도와 신뢰도를 향상시키기 위해.
• 다양한 환경적 능력 수준을 가진 실제 주행 작업에서 프레임워크를 검증하기 위해.

제안 방법

• 로봇은 현재 환경이 자신의 경험 범위를 초월하는지 평가하기 위해 낙관적 탐지 메커니즘을 사용한다.
• 이상치가 탐지되면 시스템은 새로운 환경에 대한 능력 수준을 校정하기 위해 인간의 피드백을 요청한다.
• 사전 의미 지식이 있는 환경에서는 학습된 능력 모델을 바탕으로 과거 경험에서 일반화한다.
• 피드백을 사용하여 능력 모델을 점진적으로 업데이트함으로써 시간이 지남에 따라 적응적인 자기 평가가 가능해진다.
• 인간이 참여하는 피드백 루프를 통합하여 신뢰도 추정치를 보완하고 과도한 자신감을 줄인다.
• 이중 경로 접근 방식을 사용한다: 하나는 제로샷 능력 탐지 전용이고, 다른 하나는 지식 기반 능력 추정 전용이다.

실험 결과

연구 질문

• RQ1 로봇은 어떤 환경에서 자신의 AI 모델이 능력이 없을 수 있는 낯선 환경에서 운영되고 있을지를 어떻게 탐지할 수 있는가?
• RQ2 환경에 대한 사전 지식이 없을 경우에도 신뢰할 수 있는 자기 평가 능력 메커니즘은 무엇인가?
• RQ3 환경에 대한 사전 의미 지식은 능력 추정을 향상시키는 데 어떻게 활용될 수 있는가?
• RQ4 인간의 피드백은 로봇의 자기 평가 능력 校정에 어떤 역할을 하는가?
• RQ5 인간 피드백 통합은 다이나믹한 환경에서 로봇의 의사결정 능력의 견고성과 신뢰도를 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 실제 주행 작업에서 낯선 환경을 성공적으로 탐지하여 필요한 경우 인간 피드백을 유도했다.
• 사전 지식 기반 방법을 사용한 로봇는 제로샷 탐지만을 사용한 경우보다 더 정확하게 능력 평가를 일반화했다.
• 인간의 피드백은 로봇의 자신감 추정치를 크게 개선했으며, 불확실한 상황에서의 과도한 자신감을 감소시켰다.
• 로봇의 능력 수준이 장소에 따라 다양하게 변하는 혼합 환경에서도 시스템의 신뢰성이 향상되었다.
• 프레임워크는 실제 환경에서 검증되었으며, 다이나믹하고 예측 불가능한 환경에서 실용성과 효과성을 입증했다.
• 인간 피드백 통합으로 인해 로봇이 능력 있음과 능력 없음의 운영을 구분하는 능력이 측정 가능한 수준으로 향상되었다.