[논문 리뷰] Learning Dynamic Robot-to-Human Object Handover from Human Feedback

Andras Kupcsik, David Hsu외 1명|arXiv (Cornell University)|2016. 03. 21.

Reinforcement Learning in Robotics참고 문헌 19인용 수 4

한 줄 요약

이 논문은 노이즈가 있는 인간 피드백으로부터 로봇이 다이내믹하고 인간에 적응하는 물체 수거를 학습할 수 있도록 하는 문맥 기반 정책 탐색 프레임워크를 제안한다. 베이지안 최적화를 활용한 잠재 보상 학습과 정책 탐색을 조합함으로써, 로봇은 힘과 급도를 최소화하기 위해 운동 및 그립 동역학을 조정하는 법을 학습하게 되며, 정적 및 동적 상황 모두에서 더 빠르고 부드러운 수거를 달성한다. 인간 참가자를 대상으로 한 실험을 통해 이를 입증하였다.

ABSTRACT

Object handover is a basic, but essential capability for robots interacting with humans in many applications, e.g., caring for the elderly and assisting workers in manufacturing workshops. It appears deceptively simple, as humans perform object handover almost flawlessly. The success of humans, however, belies the complexity of object handover as collaborative physical interaction between two agents with limited communication. This paper presents a learning algorithm for dynamic object handover, for example, when a robot hands over water bottles to marathon runners passing by the water station. We formulate the problem as contextual policy search, in which the robot learns object handover by interacting with the human. A key challenge here is to learn the latent reward of the handover task under noisy human feedback. Preliminary experiments show that the robot learns to hand over a water bottle naturally and that it adapts to the dynamics of human motion. One challenge for the future is to combine the model-free learning algorithm with a model-based planning approach and enable the robot to adapt over human preferences and object characteristics, such as shape, weight, and surface texture.

연구 동기 및 목표

• 다이내믹한 물체 수거를 위한 로봇 학습 프레임워크를 개발하여 인간의 운동과 선호도에 적응하도록 한다.
• 물리적 인간-로봇 상호작용에서 노이즈가 많은 인간 피드백으로부터 학습하는 데 도전 과제를 해결한다.
• 다양한 인간 운동 동역학(예: 걷기, 달리기)과 물체 특성 간의 일반화를 가능하게 한다.
• 힘, 급도, 수거 시간을 최소화하는 최적의 제어 정책을 학습함으로써 수거의 유연성을 향상시킨다.
• 모델 프리 학습과 향후 모델 기반 계획을 통합하여 적응성을 향상시킨다.

제안 방법

• 로봇의 운동 동역학과 인간의 운동 동역학과 같은 작업 맥락에 따라 정책이 조건화되는 다이내믹한 수거를 문맥 기반 정책 탐색 문제로 공식화한다.
• 절대 피드백(좋음/나쁨)과 선호도 피드백(이전보다 더 좋음/나쁨)을 포함한 인간 피드백을 활용해 잠재 보상 함수를 추론한다.
• 노이즈가 많은 피드백에도 불구하고 강건하게 잠재 보상 함수를 학습하기 위해 베이지안 최적화를 적용한다.
• 유추된 잠재 보상을 최대화하기 위해 제어 파라미터를 최적화하는 정책 탐색 알고리즘을 활용한다.
• 물리적 상호작용 중 정책 성능 평가를 위해 힘 및 운동 추적 기술을 통합한다.
• 7-DOF PR2 로봇을 사용하여 실제 정적 및 동적 수거 시나리오에서 정책을 실행하고 평가한다.

실험 결과

연구 질문

• RQ1 피드백이 노이즈가 많고 주관적인 상황에서 로봇은 어떻게 다이내믹한 물체 수거를 인간 피드백으로부터 학습할 수 있는가?
• RQ2 다이내믹한 수거 시나리오에서 인간이 선호하는 제어 정책 특성(예: 강성, 그립력, 타이밍)은 무엇인가?
• RQ3 모델 프리 학습 접근 방식은 다양한 인간 운동 동역학과 물체 유형 간에 일반화할 수 있는가?
• RQ4 학습된 정책은 힘, 급도 및 수거 지속 시간 측면에서 수동으로 튜닝된 제어기와 비교해 어떻게 성능을 발휘하는가?
• RQ5 잠재 보상 학습은 명시적 보상 형상 조정 없이 인간의 선호도에 적응하는 데 어떤 역할을 하는가?

주요 결과

• 로봇은 초기 수동 튜닝된 제어기 대비 접촉력이 감소하고 급도가 낮은 상태에서 다이내믹한 수거를 성공적으로 학습하였다.
• 정적 수거 상황에서는 저항력과 저급도를 갖춘 신속하고 부드러운 손가락 제어가 선호되었으며, 최적의 수거 시점은 0.4초에서 0.6초 사이에 발생하였다.
• 동적 수거 상황에서는 더 유연한 직선 및 회전 강성과 함께 단단한 손가락 제어기가 힘을 감소시키고 내구성을 향상시켰다.
• 인간 참가자들은 동적 환경에서 더 빠른 수거를 선호했으며, 물리적 접촉 지속 시간은 0.3~0.6초 사이였다.
• 학습된 정책은 다양한 동적 시나리오에 일반화되었으며 수거 시간을 크게 단축시키고 인간의 신체적 스트레스를 줄였다.
• 비디오 증거는 학습된 정책이 초기 제어기보다 더 자연스럽고 부드러운 수거 동작을 생성했음을 확인했다.