[논문 리뷰] Mathematical Models of Adaptation in Human-Robot Collaboration

Stefanos Nikolaidis, Jodi Forlizzi외 3명|arXiv (Cornell University)|2017. 07. 09.

Robot Manipulation and Learning참고 문헌 14인용 수 20

한 줄 요약

이 논문은 인간-로봇 협업을 위한 게임 이론적 프레임워크를 제안하며, 확률적 계획을 통해 상호 적응을 모델링함으로써 로봇이 인간의 선호를 추론하고 인간의 적응을 고려하여 행동을 적응시킬 수 있도록 한다. 주요 기여는 다양한 환경에서 실시간 상호작용에서 로봇과 인간의 적응을 동시에 최적화하는 형식적 접근으로, 팀 성능과 신뢰도를 향상시킨다.

ABSTRACT

A robot operating in isolation needs to reason over the uncertainty in its model of the world and adapt its own actions to account for this uncertainty. Similarly, a robot interacting with people needs to reason over its uncertainty over the human internal state, as well as over how this state may change, as humans adapt to the robot. This paper summarizes our own work in this area, which depicts the different ways that probabilistic planning and game-theoretic algorithms can enable such reasoning in robotic systems that collaborate with people. We start with a general formulation of the problem as a two-player game with incomplete information. We then articulate the different assumptions within this general formulation, and we explain how these lead to exciting and diverse robot behaviors in real-time interactions with actual human subjects, in a variety of manufacturing, personal robotics and assistive care settings.

연구 동기 및 목표

• 실시간 협업 중 인간의 내적 상태(예: 목표, 선호, 적응 가능성 등)에 대한 불확실성을 로봇이 추론할 수 있도록 하는 것.
• 로봇이 변화하는 인간의 행동과 의도에 기반해 행동을 적응시킬 수 있는 계산적으로 타당한 모델을 개발하는 것.
• 로봇과 인간이 서로의 전략을 상호 조정함으로써 인간-로봇 팀의 성능을 향상시키기 위해 상호 적응을 모델링하는 것.
• 실제 환경(예: 제조, 보조 간병, 사회적 주행 등)에 구현 가능한 계획 알고리즘에 확장 가능한 행동 모델과 기계학습을 통합하는 것.
• 로봇이 사용자의 자율성을 훼손하지 않으면서도 사용자를 더 효과적인 작업 수행으로 이끌 수 있도록 성능와 사용자 신뢰를 균형 잡는 것.

제안 방법

• 로봇과 인간 간 협업을 비완전 정보를 가진 이인자 스토케스틱 게임으로 설정하며, 양측이 공통 목표를 공유하지만 인간의 보상 함수에 대해 비대칭적인 지식을 가짐.
• 인간의 선호를 알 수 없는 보상 함수로 표현하고, 공동 행동 시연 및 사용자 입력에서 이를 확률적 추론을 통해 추정.
• 행동 데이터로부터 인간의 유형(예: 적응 가능한 vs. 비적응 가능한)을 추론하기 위해 교차 훈련 및 클러스터링 기법을 적용하여 로봇의 적응 능력을 향상.
• 제한된 메모리와 최적 반응 모델을 사용해 다양한 가정 하에서 인간 행동을 근사함으로써, 동적인 환경에서의 확장 가능한 계획을 가능하게 함.
• 로봇 행동이 인간의 행동 변화에 어떻게 반응하는지를 모델링하는 상호 적응 형식을 도입하여, 인간의 적응 가능성에 기반해 정책을 업데이트할 수 있도록 함.
• 구두 의사소통과 정보 탐색 행동을 정책에 통합하여, 공유 자율성 및 협업적 조작 과제에서 사용자를 이끌 수 있도록 함.

실험 결과

연구 질문

• RQ1 로봇은 실시간 협업 중 인간의 내적 상태(예: 선호, 적응 가능성 등)를 어떻게 모델링하고 적응할 수 있는가?
• RQ2 인간-로봇 팀에서 일방적인 로봇 적응과 상호 적응 사이의 계산적 트레이드오프는 무엇인가?
• RQ3 인간의 적응 가능성 모델링이 고정된 로봇 행동 대비 팀 성능과 사용자 신뢰를 얼마나 향상시키는가?
• RQ4 확률적 계획과 게임 이론 알고리즘은 다양한 인간-로봇 상호작용 환경에서 효과적인 실시간 로봇 행동을 어떻게 생성하는가?
• RQ5 로봇은 정보 탐색 및 의사소통 행동을 어떻게 활용하여 인간 파트너를 더 효과적인 작업 수행으로 이끌 수 있는가?

주요 결과

• 상호 적응은 일방적인 로봇 적응 대비 인간-로봇 팀 성능을 크게 향상시켰으며, 실험에서 유사한 사용자 신뢰 수준을 유지하였다.
• 공유 자율성 과제에서 로봇이 인간의 적응 가능성 추론 능력을 갖춘 결과, 적응 가능한 사용자에게는 최적의 행동으로 이끌고 비적응 가능한 사용자에게는 위임함으로써 더 나은 협업을 달성하였다.
• 상호 적응 형식은 로봇 전용 적응 및 적응 없음 전략보다 우수했으며, 후자는 최고의 성능를 달성했지만 사용자 신뢰가 감소하는 비용을 지ay하였다.
• 정보 탐색 행동(예: 천천히 움직이거나 일시정지)이 정책 최적화 과정에서 자연스럽게 유도되었으며, 이는 인간의 선호와 적응 가능성 추정에 기여하였다.
• 이 프레임워크는 협업적 조작, 사회적 주행, 보조 간병 등 다양한 환경에 일반화되어 효과적으로 작동함을 입증하여 강건성과 확장성을 입증하였다.
• 구두 의사소통이 형식에 통합되어 로봇이 언어를 사용해 사용자를 이끌 수 있도록 하여 협업 및 성능 향상에 기여하였다.