[논문 리뷰] Visual Imitation Made Easy

Sarah Young, Dhiraj Gandhi외 4명|arXiv (Cornell University)|2020. 08. 11.

Robot Manipulation and Learning참고 문헌 42인용 수 22

한 줄 요약

이 논문은 상용의 도구인 리처그래버를 사용하여 다양한 실제 환경에서의 시각적 모의 학습 데이터를 저비용으로 확장 가능하게 수집하는 인터페이스를 제안한다. 구조에서 운동(SfM) 및 손가락 검출 네트워크를 활용하여 3차원 도구 궤적과 그립퍼 상태를 추출함으로써, 데이터 증강을 통한 직접적 행동 클로닝이 가능해지며, 미리 보지 않은 물체에 대해 밀기 작업에서 87.5%의 성공률, 쌓기 작업에서 62.5%의 성공률을 달성한다. 이는 단순한 도구를 사용한 대규모이고 다양한 데이터 수집 방식이 정책 일반화 능력을 크게 향상시킬 수 있음을 보여준다.

ABSTRACT

Visual imitation learning provides a framework for learning complex manipulation behaviors by leveraging human demonstrations. However, current interfaces for imitation such as kinesthetic teaching or teleoperation prohibitively restrict our ability to efficiently collect large-scale data in the wild. Obtaining such diverse demonstration data is paramount for the generalization of learned skills to novel scenarios. In this work, we present an alternate interface for imitation that simplifies the data collection process while allowing for easy transfer to robots. We use commercially available reacher-grabber assistive tools both as a data collection device and as the robot's end-effector. To extract action information from these visual demonstrations, we use off-the-shelf Structure from Motion (SfM) techniques in addition to training a finger detection network. We experimentally evaluate on two challenging tasks: non-prehensile pushing and prehensile stacking, with 1000 diverse demonstrations for each task. For both tasks, we use standard behavior cloning to learn executable policies from the previously collected offline demonstrations. To improve learning performance, we employ a variety of data augmentations and provide an extensive analysis of its effects. Finally, we demonstrate the utility of our interface by evaluating on real robotic scenarios with previously unseen objects and achieve a 87% success rate on pushing and a 62% success rate on stacking. Robot videos are available at https://dhiraj100892.github.io/Visual-Imitation-Made-Easy.

연구 동기 및 목표

• 텔레옵스레이션 또는 운동학적 교육과 같은 제약이 큰 인터페이스로 인해 발생하는 대규모이고 다양한 데이터 수집의 한계를 해결하기 위해.
• 리처그래버와 같은 저비용이고 널리 보급된 보조 도구를 활용하여 효율적인 실제 환경 데이터 수집을 가능하게 하기 위해.
• 이러한 도구를 통해 수집한 시각적 모의 데이터에서 직접 행동 클로닝을 수행할 수 있으며, 이는 새로운 물체와 환경으로의 일반화를 가능하게 하기 위해.
• 실제 로봇 시나리오에서 데이터 증강 및 데이터 다양성의 정책 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 직접 전이 가능성을 확보하기 위해 상용의 리처그래버 도구를 데이터 수집 인터페이스이자 로봇의 종단 효과기로 동시에 사용한다.
• 다양한 주거 및 사무 환경에서 작업 수행 중에 리처그래버에 장착된 카메라로부터 RGB 비디오 모의 데이터를 수집한다.
• 수집된 비디오 시퀀스에서 상용의 구조에서 운동(SfM) 기법을 사용하여 3차원 도구 궤적을 추출한다.
• 학습된 손가락 검출 네트워크를 사용하여 그립퍼 손가락 상태를 검출함으로써, 시각적 모의 데이터로부터 동작 수준의 정보를 추론한다.
• 데이터 증강을 통해 일반화 능력을 향상시키기 위해, 추출된 궤적과 동작을 기반으로 표준 행동 클로닝을 통해 정책을 훈련한다.
• 유사한 종단 효과기 설정을 가진 로봇에 직접 학습된 정책를 전이함으로써, 새로운 물체에 대해 제로샷 배포를 가능하게 한다.

실험 결과

연구 질문

• RQ1 리처그래버와 같은 보조 도구가 대규모이고 저비용인 시각적 모의 데이터 수집을 위한 확장 가능한 인터페이스로 사용될 수 있는가?
• RQ2 실제 환경에서 수집한 모의 데이터의 다양성과 규모가 시각적 모의 학습에서 정책 일반화에 어떤 영향을 미치는가?
• RQ3 데이터 증강 기법이 비포획성 밀기 및 포획성 쌓기 작업에서 새로운 물체에 대한 정책 성능 향상에 어느 정도 기여하는가?
• RQ4 보조 도구를 활용해 수집한 시각적 모의 데이터에서의 행동 클로닝이 실제 로봇 환경에서 전통적 방법보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 DemoAT 프레임워크는 새로운 물체에 대해 비포획성 밀기 작업에서 87.5%의 성공률, 포획성 쌓기 작업에서 62.5%의 성공률을 기록하여, 단순 행동 클로닝보다 뚜렷이 뛰어난 성능을 보였다.
• 데이터 증강 기법 중에서, 밀기 작업에서는 자르기 + 진동, 쌓기 작업에서는 돌림 + 진동이 각각 BC-MSE 지표에서 0.7% 및 0.9% 향상시켰다.
• 학습 데이터의 50%만 사용하고 증강 기법을 적용한 경우, 밀기 및 쌓기 작업 모두에서 전체 데이터 100%를 사용한 단순 행동 클로닝의 성능을 뛰어넘었다.
• 증강 기법을 적용한 50% 데이터로 훈련된 모델은 밀기 작업에서 첫 번째 물체에 도달하는 데 100% 성공률을 기록하여, 제한된 데이터로도 강력한 일반화 능력을 보였다.
• 다양한 장면에서 희소 관측이 이루어진 다각도의 데이터셋은 반복된 장면이 많은 덜 다양한 데이터셋보다 성능이 뛰어나며, 테스트 오차가 1.4% 낮았다(0.067 vs. 0.081).
• 데이터 증강의 효과는 작업 후반 단계에서 가장 두드러졌으며, 초기 접근 단계 이후 쌓기 성공률이 33.4% 향상되었다.