[논문 리뷰] Co-GAIL: Learning Diverse Strategies for Human-Robot Collaboration

Chen Wang, Claudia Pérez-D’Arpino외 4명|arXiv (Cornell University)|2021. 08. 13.

Reinforcement Learning in Robotics참고 문헌 48인용 수 6

한 줄 요약

Co-GAIL은 인간-인간 협업 시연 데이터로부터 인간 및 로봇 정책을 공동 최적화하는 프레임워크를 제안하며, 다각도의 인간 행동을 모델링하기 위해 분리된 잠재 전략 공간을 사용한다. 이는 2D 조율, 수거, 순차적 조작 작업에서 시뮬레이션 및 실제 인간-로봇 상호작용 평가에서 최신 기법들을 능가하며, 다양한 인간 전략에 대한 강력한 적응성을 제공한다.

ABSTRACT

We present a method for learning a human-robot collaboration policy from human-human collaboration demonstrations. An effective robot assistant must learn to handle diverse human behaviors shown in the demonstrations and be robust when the humans adjust their strategies during online task execution. Our method co-optimizes a human policy and a robot policy in an interactive learning process: the human policy learns to generate diverse and plausible collaborative behaviors from demonstrations while the robot policy learns to assist by estimating the unobserved latent strategy of its human collaborator. Across a 2D strategy game, a human-robot handover task, and a multi-step collaborative manipulation task, our method outperforms the alternatives in both simulated evaluations and when executing the tasks with a real human operator in-the-loop. Supplementary materials and videos at https://sites.google.com/view/co-gail-web/home

연구 동기 및 목표

• 인간-인간 시연에서 관찰된 다양한 인간 협업 전략에 적응할 수 있는 로봇 정책을 개발하는 것.
• 이전 방법들이 인간을 정적 환경 구성 요소로 간주하여 학습 중 상호 행동 적응을 모델링하지 못하는 한계를 해결하는 것.
• 효과적인 실시간 협업을 위해 미관측된 인간 잠재 전략을 추론하고 예측할 수 있도록 하는 것.
• 시연 데이터로부터 분리되고 해석 가능한 전략 표현을 학습함으로써 인간-로봇 협업의 일반화 능력과 강건성을 향상시키는 것.
• 복잡한 조작 작업에서 다양한 인간 행동에 적응할 수 있음을 실질적인 인간-로봇 상호작용 환경에서 입증하는 것.

제안 방법

• 로봇 정책과 인간 정책을 상호작용 학습 과정을 통해 동시에 최적화하여 양측이 학습 도중에 함께 진화하도록 하는 것.
• 인간 시연 데이터로부터 다양한 협업 행동을 분리하고 모델링하기 위해 잠재 전략 표현을 도입하는 것.
• 추론 도중 인간 협업자의 잠재 전략 코드를 추론하기 위해 전략 인식 네트워크 ψ를 사용하여 향후 행동을 예측할 수 있도록 하는 것.
• 잠재 공간에서의 다양성 목적함수(식 3)를 활용하여 모든 시연된 전략 범위를 커버하고 과적합을 방지하는 것.
• 전문가 인간-로봇 궤적과 생성된 궤적을 구분하는 디스criminator를 사용하여 적대적 묘사 학습(GAIL)을 통해 로봇 정책을 훈련하는 것.
• 수동으로 설계된 보상 함수를 피하기 위해 인간-인간 시연 데이터를 유일한 지도 신호로 활용하는 것.

실험 결과

연구 질문

• RQ1 인간-인간 시연에서 관찰된 다양한 인간 협업 전략에 일반화할 수 있는 로봇 정책을 학습할 수 있는가?
• RQ2 학습 중 인간과 로봇 정책을 공동 최적화하면 인간을 정적 환경 구성 요소로 간주하는 것보다 더 나은 적응성과 강건성을 달성하는가?
• RQ3 분리된 잠재 전략 공간이 복잡한 작업에서 서로 다른 인간 협업 행동을 효과적으로 표현하고 일반화할 수 있는가?
• RQ4 기존의 묘사 학습 기반 베이스라인과 비교해 실질적인 인간-로봇 상호작용 환경에서의 성능은 어떠한가?
• RQ5 내삽 및 제로샷 적응 상황에서 미관측된 인간 전략에 대해 어느 정도 일반화되는가?

주요 결과

• 2D-Fetch-Quest 작업에서 Co-GAIL은 모든 사용자에서 100% 성공률을 기록했으며, MA-InfoGAIL(85%) 및 MA-GAIL(65%) 평균 성공률을 크게 능가했다.
• HR-Handover 작업에서 Co-GAIL은 사용자 평균 75% 성공률을 기록했으며, BC-single(20%), MA-GAIL(35%), MA-InfoGAIL(65%)를 모두 초월했다.
• HR-SeqManip 작업에서 Co-GAIL은 사용자 평균 60% 성공률을 기록했으며, BC-single(10%), MA-GAIL(25%), MA-InfoGAIL(35%)를 모두 능가했다.
• 잠재 공간 시각화 결과, Co-GAIL은 MA-GAIL 및 MA-InfoGAIL보다 더 우수한 인간 전략 분리(예: 왼쪽/중간/오른쪽 수거 영역)를 학습한 것으로 나타났다.
• 내삽 작업에서 Co-GAIL는 MA-GAIL, MA-InfoGAIL, DIAYN 대비 더 넓은 시연 분포 커버리지와 낮은 과적합을 보였다.
• 실제 인간 평가 결과, Co-GAIL는 다양한 인간 행동에 대한 뛰어난 적응성을 입증했으며, 사용자 및 시험 간 일관된 성능을 보였으며, 복잡한 연속 운동 작업에서 이러한 적응성의 첫 성공적 구현을 이룩했다.