[논문 리뷰] i-Sim2Real: Reinforcement Learning of Robotic Policies in Tight Human-Robot Interaction Loops

Saminda Abeyruwan, Laura Graesser외 7명|arXiv (Cornell University)|2022. 07. 14.

Reinforcement Learning in Robotics인용 수 12

한 줄 요약

이 논문은 인간-로봇 상호작용을 위한 반복적 시뮬레이션-실세계 강화학습 프레임워크인 i-Sim2Real(i-S2R)을 제안한다. 이 방법은 인간 행동 모델과 로봇 정책을 번갈아가며 시뮬레이션과 실제 환경 배포를 통해 공진화시켜, 밀도 높은 인간-로봇 상호작용을 위한 로봇 정책을 훈련시킨다. 새로운 블랙박스 기울기 감지(BGS) 알고리즘을 사용하고 실제 상호작용 데이터로부터 인간 행동 모델을 개선함으로써, 인간과의 탁구 라운드 평균 22회를 성공적으로 이어가며, S2R+FT 기준 대비 70–175% 더 긴 라운드를 기록한다.

ABSTRACT

Sim-to-real transfer is a powerful paradigm for robotic reinforcement learning. The ability to train policies in simulation enables safe exploration and large-scale data collection quickly at low cost. However, prior works in sim-to-real transfer of robotic policies typically do not involve any human-robot interaction because accurately simulating human behavior is an open problem. In this work, our goal is to leverage the power of simulation to train robotic policies that are proficient at interacting with humans upon deployment. But there is a chicken and egg problem -- how to gather examples of a human interacting with a physical robot so as to model human behavior in simulation without already having a robot that is able to interact with a human? Our proposed method, Iterative-Sim-to-Real (i-S2R), attempts to address this. i-S2R bootstraps from a simple model of human behavior and alternates between training in simulation and deploying in the real world. In each iteration, both the human behavior model and the policy are refined. For all training we apply a new evolutionary search algorithm called Blackbox Gradient Sensing (BGS). We evaluate our method on a real world robotic table tennis setting, where the objective for the robot is to play cooperatively with a human player for as long as possible. Table tennis is a high-speed, dynamic task that requires the two players to react quickly to each other's moves, making for a challenging test bed for research on human-robot interaction. We present results on an industrial robotic arm that is able to cooperatively play table tennis with human players, achieving rallies of 22 successive hits on average and 150 at best. Further, for 80% of players, rally lengths are 70% to 175% longer compared to the sim-to-real plus fine-tuning (S2R+FT) baseline. For videos of our system in action, please see https://sites.google.com/view/is2r.

연구 동기 및 목표

• 인간-로봇 상호작용을 위한 시뮬레이션-실세계 강화학습에서 인간 행동이 시뮬레이션하기 어려우며, 이를 모델링하기 위해 실세계 데이터가 필요하다는 '닭과 계란' 문제를 해결하기 위해.
• 실세계 상호작용 데이터 없이도 시뮬레이션에서 인간과 효과적으로 상호작용할 수 있도록 로봇 정책을 훈련시킬 수 있는 프레임워크를 개발하기 위해.
• 실제 상호작용 데이터를 반복적으로 활용하여 인간 행동 모델과 로봇 정책을 개선함으로써, 비용이 많이 드는 실세계 피지테이닝에 의존도를 줄이기 위해.
• 밀도 높고 동적인 과제인 협동 탁구를 통해, 인간-로봇 간 실시간으로 밀접한 협업이 요구되는 상황에서의 성능을 평가하기 위해.
• 반복적인 인간 행동 모델 개선이 표준 시뮬레이션-실세계 전이 방식에 비해 실세계 성능을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 로봇 정책을 인간 행동 모델을 사용해 시뮬레이션에서 훈련하고, 실제 환경에 정책을 배포하여 인간-로봇 상호작용 데이터를 수집하는 방식을 번갈아가며 수행한다.
• 로봇 배포 이전에 수집한 실세계 데이터를 바탕으로 초기 인간 행동 모델을 조잡하게 구성하여 공의 궤적 분포를 반영한다.
• 실세계 상호작용 데이터를 활용해 인간 행동 모델을 반복적으로 개선함으로써, 후속 시뮬레이션 훈련을 위한 정밀도를 높인다.
• 환경의 기울기를 계산할 필요 없이 효율적인 정책 최적화를 가능하게 하는 새로운 진화적 탐색 알고리즘인 블랙박스 기울기 감지(BGS) 알고리즘을 사용해 로봇 정책을 훈련시킨다.
• 공 던지기 패턴의 분포 기반 표현을 사용해 인간 행동 모델을 업데이트하며, 관측된 인간의 던지기 패턴과 일치하도록 매개변수를 조정한다.
• 여러 차례 반복하여 각 사이클이 인간 모델과 로봇 정책 양쪽을 향상시키며 성능 수렴에 도달할 때까지 진행된다.

실험 결과

연구 질문

• RQ1 실세계 상호작용 데이터 없이도, 시뮬레이션에서 인간과 협동적으로 상호작용할 수 있는 로봇 정책를 고속·동적인 과제인 탁구에서 효과적으로 훈련시킬 수 있는가?
• RQ2 실세계 상호작용 데이터로부터 인간 행동 모델을 반복적으로 개선하면, 인간-로봇 상호작용에서 시뮬레이션-실세계 전이 성능가 어떻게 향상되는가?
• RQ3 인간 행동 모델의 품질이 제로샷 시뮬레이션-실세계 전이 성능와 피지테이닝 효율성에 얼마나 큰 영향을 미치는가?
• RQ4 다양한 인간 플레이어를 대상으로, 제안된 i-S2R 프레임워크가 표준 시뮬레이션-실세계 + 피지테이닝(S2R+FT) 방식에 비해 라운드 길이와 내구성 측면에서 어떻게 비교되는가?
• RQ5 학습된 인간 행동 모델을 사용해 시뮬레이션에서 다양하고 현실적인 인간 궤적을 효과적으로 생성할 수 있는가? 이는 강력한 정책 훈련을 가능하게 하는가?

주요 결과

• i-S2R 방법은 실세계 협동 탁구에서 평균 22회의 성공적인 스윙을 기록하여, S2R+FT 기준 대비 뚜렷이 뛰어난 성능을 보였다.
• 80%의 인간 플레이어에게서 i-S2R 정책는 S2R+FT 기준 대비 70%에서 175%까지 더 긴 라운드를 기록했다.
• i-S2R 정책의 제로샷 전이 성능는 기준 방법보다 뚜렷이 뛰어나며, 중간 분포 인간 모델은 S2R-Oracle(이상적) 모델과 유사한 성능을 달성했다.
• 반복적인 인간 모델 개선으로 인해 초기 정책 일반화 능력이 향상되어, 비용이 많이 드는 실세계 피지테이닝이 줄어들었다.
• 히트맵 분석 결과, i-S2R 정책는 S2R+FT에 비해 더 넓은 범위의 공 초기 위치와 착지 위치에서 높은 스윙 성공률을 기록했다.
• 공 분포의 t-SNE 시각화 결과, i-S2R 방법은 시간이 지남에 따라 더 다양하고 인간과 유사한 공 궤적을 학습했으며, 시뮬레이션과 실세계 분포 간의 겹침이 향상되었다.