[논문 리뷰] Multiple Interactions Made Easy (MIME): Large Scale Demonstrations Data for Imitation

Pratyusha Sharma, Lekha Mohan외 2명|arXiv (Cornell University)|2018. 10. 16.

Robot Manipulation and Learning인용 수 36

한 줄 요약

이 논문은 20개의 다양한 조작 작업(밀기에서 쌓기까지)을 포함한 8,260개의 인간-로봇 쌍으로 구성된 대규모 로봇 시연 데이터셋인 MIME를 소개한다. 이는 제3인칭 시각 영상 특징을 로봇 관절 궤적으로 매핑하는 데 사용되는 LSTMs 기반의 시각적 모방 학습 프레임워크를 제안하며, 다중 참조 궤적을 사용한 평가를 통해 기존 기준보다 향상된 성능을 달성한다. 특히 다중 모달 평가를 통해 평균 제곱 오차(MSE)를 0.1076으로 감소시켰다.

ABSTRACT

In recent years, we have seen an emergence of data-driven approaches in robotics. However, most existing efforts and datasets are either in simulation or focus on a single task in isolation such as grasping, pushing or poking. In order to make progress and capture the space of manipulation, we would need to collect a large-scale dataset of diverse tasks such as pouring, opening bottles, stacking objects etc. But how does one collect such a dataset? In this paper, we present the largest available robotic-demonstration dataset (MIME) that contains 8260 human-robot demonstrations over 20 different robotic tasks (https://sites.google.com/view/mimedataset). These tasks range from the simple task of pushing objects to the difficult task of stacking household objects. Our dataset consists of videos of human demonstrations and kinesthetic trajectories of robot demonstrations. We also propose to use this dataset for the task of mapping 3rd person video features to robot trajectories. Furthermore, we present two different approaches using this dataset and evaluate the predicted robot trajectories against ground-truth trajectories. We hope our dataset inspires research in multiple areas including visual imitation, trajectory prediction, and multi-task robotic learning.

연구 동기 및 목표

• 복잡한 다중 작업 조작을 포괄하는 대규모이고 다양한 로봇 시연 데이터셋의 부족을 해결하기 위해.
• 20개의 작업에 걸쳐 실제 세계의 인간 및 로봇 궤적을 제공함으로써 로봇 공학 분야의 데이터 기반 학습을 가능하게 하기 위해.
• 제3인칭 영상 시연를 로봇 관절 궤적으로 매핑하는 시각적 모방 학습 모델을 개발하고 평가하기 위해.
• 여러 개의 참조 궤적을 사용한 평가를 통해 궤적의 다중 모달성을 처리함으로써, 유사하지만 동일하지 않은 해답에 대한 과도한 페널티를 줄이기 위해.
• 실제 복잡한 조작 환경에서 시각적 모방 학습 모델을 훈련하고 평가하는 데에 MIME의 유용성을 입증하기 위해.

제안 방법

• 키네스타틱 시연와 함께 인간 행동의 제3인칭 영상 기록을 사용하여 8,260개의 인간-로봇 시연 쌍을 수집한다.
• 비디오 시연를 인코딩하기 위해 VGG 특징을 사용하고, 이를 순차적으로 LSTM에 입력하여 로봇 관절 궤적을 예측한다.
• 로봇의 초기 구성 이미지의 VGG 특징을 사용해 LSTM의 은닉 상태와 셀 상태를 초기화한다.
• 예측된 관절 클러스터 번호와 참조 궤적 간의 교차 엔트로피 손실을 사용해 모델을 훈련시킨다.
• 예측된 궤적과 참조 궤적 간의 평균 제곱 오차(MSE)를 사용해 성능을 평가하며, 다중 참조 궤적에서의 최소 MSE를 사용해 다중 모달성을 고려한다.
• 비교를 위해 평균 궤적 및 k-최근접 이웃(k=11) 기반의 베이스라인을 구현한다.

실험 결과

연구 질문

• RQ1 대규모이고 다양한 인간-로봇 시연 데이터셋이 복잡한 조작 작업에서 시각적 모방 학습 성능을 향상시킬 수 있는가?
• RQ2 한 번의 작업에 대해 여러 개의 유효한 로봇 궤적이 존재할 경우, 다중 모달 궤적 예측이 평가 정확도에 어떤 영향을 미치는가?
• RQ3 MIME 데이터셋을 사용한 시각적 모방 학습에서 훈련 데이터의 증가가 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 LSTMs 기반의 영상-궤적 모델은 평균 궤적 및 k-NN과 같은 단순 기준 모델보다 어떻게 비교되는가?
• RQ5 제3인칭 영상에서 추출한 시각적 특징이 다양한 조작 작업에 대해 효과적으로 로봇 관절 각도로 매핑될 수 있는가?

주요 결과

• MIME 데이터셋은 20개의 다양한 조작 작업에 걸쳐 8,260개의 인간-로봇 시연 쌍을 포함하며, 간단한 밀기에서 복잡한 쌓기까지 다양하다.
• 다중 참조 궤적을 사용한 평가에서, LSTMs와 VGG 특징을 사용한 제안된 시각적 모방 학습 모델은 보류된 테스트 세트에서 평균 제곱 오차(MSE) 0.1076을 달성한다.
• 여러 참조 궤적에서의 최소 MSE를 사용함으로써 MSE는 0.1296에서 0.1076으로 감소했으며, 이는 다중 모달 평가의 중요성을 입증한다.
• 행동 복제 모델은 평균 궤적 및 k-NN 기준보다 우수한 성능을 보이며, 훈련 데이터가 증가할수록 성능 향상이 지속적으로 관찰된다.
• 다중 모달성이 높은 작업, 예를 들어 상자 안에 놓는 작업은 더 높은 MSE(0.1403)를 보였으며, 이는 궤적 예측의 도전성 증가를 시사한다.
• k=11인 k-NN 기준은 평균 궤적보다 우수한 성능을 보였지만, 여전히 행동 복제 모델에 비해 열등했으며, 이는 종단 간 학습의 이점이 있음을 강조한다.