[논문 리뷰] Robot Planning with Mathematical Models of Human State and Action

Anca D. Dragan|arXiv (Cornell University)|2017. 05. 11.

AI-based Problem Solving and Planning참고 문헌 20인용 수 30

한 줄 요약

이 논문은 로봇이 사람을 수동적인 장애물로 보는 대신 인간의 인지 모델—특히 인간의 신념, 목표, 보상 함수—을 사용하여 계획해야 한다고 제안한다. 인간 행동을 합리적 추론으로 모델링하고 게임 이론적 계획을 사용함으로써, 로봇은 더 자연스럽게 공조하고 인간 행동에 적응하며, 행동을 통해 내부 상태(예: 주행 스타일 또는 자신감)를 의사소통할 수 있다. 이는 더 안전하고 직관적인 인간-로봇 상호작용을 가능하게 한다.

ABSTRACT

Robots interacting with the physical world plan with models of physics. We advocate that robots interacting with people need to plan with models of cognition. This writeup summarizes the insights we have gained in integrating computational cognitive models of people into robotics planning and control. It starts from a general game-theoretic formulation of interaction, and analyzes how different approximations result in different useful coordination behaviors for the robot during its interaction with people.

연구 동기 및 목표

• 동적이고 공유되는 환경에서 로봇이 인간과 효과적으로 상호작용할 수 있도록 인간의 정서 상태를 모델링하고, 사람을 정적 장애물로 보는 것과는 다를 바를 해결하기 위해.
• 사람들이 로봇의 의도와 내부 상태에 대해 어떻게 추론하는지 모델링함으로써, 로봇이 인간 행동을 예측하고 적응할 수 있도록 하기 위해.
• 관찰된 행동 신호(예: 시연, 수정, 구두 명령)로부터 인간의 보상 함수와 내부 상태를 추정할 수 있는 온라인, 능동적 추론 메커니즘 개발을 위해.
• 효율성뿐 아니라 의사소통 기능까지 갖춘 로봇 행동 설계를 통해, 로봇의 내부 파rameter(예: 보상 함수, 자신감)에 대한 정보를 투명하게 전달해 신뢰도를 높이기 위해.
• 로봇 행동이 인간의 추론에 신호가 되는 활동적이고 상호작용적인 학습으로의 전환을 통해 수동적 관찰을 넘어서기 위해.

제안 방법

• 인간-로봇 상호작용을 부분 관측 가능하고 비대칭 정보를 가진 이인용 게임으로 수식화하며, 양 측면이 각자의 유틸리티 함수를 최적화하도록 한다.
• 중첩된 추론을 사용한 게임 이론적 계획: 로봇은 인간이 자신의 목표와 보상 매개변수에 대해 베이지안 추론을 수행한다고 모델링하고, 이 모델 하에 최적의 행동을 계획한다.
• 계층적 계획 구현: 로봇은 먼저 인간 행동을 모델링(예: 최적 반응 또는 합리적 추론으로)하고, 그에 따라 인간과 조율하거나 유도하는 행동을 선택한다.
• 역강화학습 및 역계획 기법을 통합하여, 비시연 신호(예: 신체적 수정, 명확한 명령) 포함한 관찰된 인간 행동으로부터 인간의 보상 함수를 추론한다.
• 로봇의 행동이 인간의 믿음 갱신에서 정보 수익을 극대화하도록 선택함으로써, 로봇의 내부 상태(예: 주행 스타일, 자신감)에 대한 정보를 효과적으로 전달하는 행동 설계를 위해.
• 실시간 온라인 추론을 활용해 숨겨진 인간 상태(예: 선호도, 의도)를 추정하고 상호작용 도중 로봇 행동을 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 로봇은 인간의 반응을 고려한 행동을 계획할 수 있는가, 아니면 정적 또는 예측 가능한 행동을 가정하는가?
• RQ2 로봇의 목표와 의도를 추론하는 합리적 에이전트로 인간을 모델링함으로써 어떤 공조적 이점이 있는가?
• RQ3 로봇은 시연 외의 다양한 행동 신호(예: 수정, 명령, 설계된 보상 함수)로부터 인간의 보상 함수와 내부 상태를 능동적으로 추론할 수 있는가?
• RQ4 로봇 행동은 어떤 방식으로 자신의 내부 파rameter(예: 보상 함수, 자신감)에 대한 정보를 인간에게 전달할 수 있는가?
• RQ5 로봇과 인간이 상호 간에 내부 상태를 추론하는 상호 신뢰 형성 모델링이 인간-로봇 상호작용의 안전성과 투명성에 어떤 영향을 미치는가?

주요 결과

• 로봇이 인간의 목표와 보상 함수에 대해 베이지안 추론을 수행하는 합리적 에이전트로 모델링할 경우, 인간 선호도에 맞게 물체를 건네는 전략을 조정하는 등 더 적응력 있고 협력적인 행동을 유도할 수 있다.
• 사람을 로봇 행동에 대한 최적 반응을 보이는 에이전트로 모델링하면, 로봇은 인간 반응을 예측하고 대응함으로써 주행이나 공동 조립과 같은 공유 환경에서 작업 성능을 향상시킬 수 있다.
• 신체적 동작(예: 과도한 움직임, 시간 조절)을 신호로 사용하면 로봇의 목표와 의도를 효과적으로 전달할 수 있으며, 자연스러운 인간 의사소통 전략을 모방할 수 있다.
• 다양한 신호(예: 수정, 명령, 설계된 보상 함수)로부터 인간의 보상 함수를 능동적으로 추론하는 로봇는 보상 함수 오-specification에 더 강건하며 인간의 감시를 우회할 가능성이 줄어든다.
• 사람이 로봇의 내부 상태에 대해 어떻게 추론하는지 모델링함으로써, 로봇는 효율성에서 일시적으로 벗어나 명확성을 높일 수 있다. 예를 들어, 빠른 주행 스타일을 신호로 강하게 합류함으로써 투명성과 공조를 향상시킬 수 있다.
• 로봇 계획에 인지 모델링을 통합하면 수동적으로 수작업으로 구현하기 어려운 인간 유사 공조 행동(예: 교차로에서 천천히 진입, 공간 탐색)이 자연스럽게 유도되는 현상이 발생한다.