[논문 리뷰] What Matters in Learning from Offline Human Demonstrations for Robot Manipulation

Ajay Mandlekar, Danfei Xu외 8명|arXiv (Cornell University)|2021. 08. 06.

Reinforcement Learning in Robotics참고 문헌 84인용 수 70

한 줄 요약

이 논문은 인간 시연을 활용한 로봇 조작에 대한 포괄적 오프라인 학습 연구를 수행하며, 다수의 과제와 데이터 품질에서 여섯 알고리즘을 비교하고, 관찰 공간, 역사 의존성, 데이터 세트 크기에 대한 실용적 통찰을 제공합니다.

ABSTRACT

Imitating human demonstrations is a promising approach to endow robots with various manipulation capabilities. While recent advances have been made in imitation learning and batch (offline) reinforcement learning, a lack of open-source human datasets and reproducible learning methods make assessing the state of the field difficult. In this paper, we conduct an extensive study of six offline learning algorithms for robot manipulation on five simulated and three real-world multi-stage manipulation tasks of varying complexity, and with datasets of varying quality. Our study analyzes the most critical challenges when learning from offline human data for manipulation. Based on the study, we derive a series of lessons including the sensitivity to different algorithmic design choices, the dependence on the quality of the demonstrations, and the variability based on the stopping criteria due to the different objectives in training and evaluation. We also highlight opportunities for learning from human datasets, such as the ability to learn proficient policies on challenging, multi-stage tasks beyond the scope of current reinforcement learning methods, and the ability to easily scale to natural, real-world manipulation scenarios where only raw sensory signals are available. We have open-sourced our datasets and all algorithm implementations to facilitate future research and fair comparisons in learning from human demonstration data. Codebase, datasets, trained models, and more available at https://arise-initiative.github.io/robomimic-web/

연구 동기 및 목표

• 로봇 조작에서 오프라인 인간 시연으로부터 학습하는 데 따른 어려움을 평가한다.
• 시뮬레이션 및 실제 과제에서 데이터 품질이 다양한 데이터셋으로 여섯 가지 오프라인 학습 알고리즘을 비교한다.
• 성능에 결정적으로 영향을 미치는 설계 선택(역사, 관찰 공간, 하이퍼파라미터)을 식별한다.
• 재현 가능한 연구를 가능하게 하기 위해 실용적인 가이드라인과 공개 소스 데이터셋/코드를 제공한다.

제안 방법

• 여섯 가지 알고리즘을 평가한다: Behavioral Cloning (BC), BC with RNN (BC-RNN), Hierarchical BC (HBC), BCQ, Conservative Q-Learning (CQL), and IRIS.
• 다섯 개의 시뮬레이션 과제와 세 개의 실제 다단계 조작 과제를 사용한다.
• 저차원 관찰 공간과 이미지 관찰 공간을 가진 Machine-Generated, Proficient-Human, Multi-Human 소스의 데이터셋을 수집한다.
• 이진 보상으로 정책을 학습하고 온라인으로 체크포인트를 평가하여 성능이 가장 좋은 정책을 식별한다.
• 관찰 공간, 히스토리, 데이터셋 크기 및 하이퍼파라미터의 효과를 분석한다.
• 공정한 비교를 위해 공개 소스 데이터셋, 코드 및 학습된 모델을 제공한다.

실험 결과

연구 질문

• RQ1 역사 의존적 모델이 인간 시연으로부터 학습할 때 정적 정책에 비해 얼마나 성능이 우수한가?
• RQ2 데이터 품질(단일 인간 대 다중 인간)이 오프라인 학습 성능에 어떤 영향을 미치는가?
• RQ3 관찰 공간(저차원 vs 이미지)이 인간 데이터로부터의 정책 학습에 미치는 영향은 무엇인가?
• RQ4 데이터셋 크기와 하이퍼파라미터가 조작 과제의 오프라인 학습에 어떤 영향을 미치는가?
• RQ5 시뮬레이션에서의 발견이 실제 로봇 과제로 옮겨갈 수 있는가?

주요 결과

• 역사 의존 모델(BC-RNN, HBC, IRIS)은 특히 더 긴 기간의 과제와 다중 인간 데이터에서 비시간적 기준선보다 우수한 성능을 보인다.
• 배치 RL 방법(BCQ, CQL)은 기계 생성 데이터에서 뛰어나지만 인간 시연에는 어려움을 겪는다.
• 관찰 공간과 하이퍼파라미터가 성능에 크게 영향을 미친다; 관련된 고유 수용기능 신호를 포함하면 도움이 되고, 불필요한 신호는 해를 끼칠 수 있으며, 픽셀 무작위화와 손목 카메라 관찰은 시각운동 학습을 향상시킨다.
• 더 큰 고품질의 인간 데이터셋이 복잡한 과제에서 능력 있는 정책을 가능하게 하며, 시뮬레이션에서의 결과가 관찰 및 학습 선택을 신중히 할 경우 실제 과제로 옮겨갈 수 있다.
• 오프라인 RL에서의 모델 선택은 간단하지 않다; 시뮬레이션에서의 온라인 평가가 최선의 정책이 검증 손실이나 최종 체크포인트 선택과 다를 수 있음을 보여준다.
• 손목 부착 카메라 관찰과 이미지 무작위화는 실제 세계의 시각-운동 모방에 중요하다.