[논문 리뷰] Robobarista: Learning to Manipulate Novel Objects via Deep Multimodal Embedding

Jaeyong Sung, Seok Hyun Jin외 2명|arXiv (Cornell University)|2016. 01. 12.

Robot Manipulation and Learning참고 문헌 9인용 수 13

한 줄 요약

이 논문은 3D 포인트 클라우드, 자연어 지시문, 궤적을 공유된 임bedding 공간에 통합하여, 유사한 부품 간의 조작 전략을 이식함으로써 로봇이 익히 경험하지 않은 가정용 가전제품을 조작할 수 있도록 하는 딥 멀티모odal 임베딩 모델인 Robobarista를 제안한다. 이 모델은 새로운 가전제품(예: 에스프레소 머신)에 대해 사전 노출 없이도 제로샷 전이를 가능하게 하여, 성공적인 실행을 달성한다.

ABSTRACT

There is a large variety of objects and appliances in human environments, such as stoves, coffee dispensers, juice extractors, and so on. It is challenging for a roboticist to program a robot for each of these object types and for each of their instantiations. In this work, we present a novel approach to manipulation planning based on the idea that many household objects share similarly-operated object parts. We formulate the manipulation planning as a structured prediction problem and learn to transfer manipulation strategy across different objects by embedding point-cloud, natural language, and manipulation trajectory data into a shared embedding space using a deep neural network. In order to learn semantically meaningful spaces throughout our network, we introduce a method for pre-training its lower layers for multimodal feature embedding and a method for fine-tuning this embedding space using a loss-based margin. In order to collect a large number of manipulation demonstrations for different objects, we develop a new crowd-sourcing platform called Robobarista. We test our model on our dataset consisting of 116 objects and appliances with 249 parts along with 250 language instructions, for which there are 1225 crowd-sourced manipulation demonstrations. We further show that our robot with our model can even prepare a cup of a latte with appliances it has never seen before.

연구 동기 및 목표

• 로봇이 이전에 접촉한 적이 없는 새로운 물체로 조작 기술을 일반화할 수 있도록 하는 것.
• 모든 고유한 가정용 가전제품에 대해 수동으로 프로그래밍하는 데 따른 확장성 문제를 해결하는 것.
• 시각, 언어, 운동 데이터 간의 공유된 의미론적 표현을 학습하여 이종 물체 간의 조작 전이를 가능하게 하는 것.
• 새로운 커뮤니티 기반 플랫폼을 통해 대규모이고 다양한 조작 시연 데이터셋을 수집하는 것.
• 공유된 임베딩 공간 내에서 최소 거리 검색을 통한 효율적 추론을 가능하게 하는 것.

제안 방법

• 3D 포인트 클라우드, 자연어 지시문, 조작 궤적을 공유된 잠재 공간에 매핑하는 딥 신경망을 학습한다.
• 하위층은 단일 모odal 데이터에서 자기지도 학습 방법을 사용하여 사전 훈련하여 강력한 멀티모달 특징을 학습한다.
• 세부 조정 단계에서 손실 기반 마진을 도입하여 의미적으로 유사한 (포인트 클라우드, 언어, 궤적) 트리플릿을 가까이, 다를 경우는 멀리 떼어내도록 한다.
• 모델은 구조적 예측 프레임워크를 사용하며, 새로운 입력에 대해 임베딩 공간 내에서 가장 가까운 이웃을 선택하여 궤적을 예측한다.
• 비전문가가 웹 기반으로 조작 시연을 기록할 수 있는 새로운 커뮤니티 기반 플랫폼인 Robobarista를 개발하여, 총 116개의 물체, 249개의 부품에 대해 1225개의 시연 데이터를 수집하였다.
• 궤적은 부품 중심의 좌표 프레임에서 표현되어, 유사한 부품(예: 손잡이, 레버)을 가진 다른 물체 간의 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 공유된 부품 수준의 기능을 바탕으로, 기존 물체에서의 조작 전략을 완전히 새로운 물체로 전이할 수 있는가?
• RQ2 시각, 언어, 운동 데이터를 어떻게 함께 공유된 공간에 임베딩하여 다중 모odal 간의 조작 기술 전이를 가능하게 할 수 있는가?
• RQ3 사전 훈련과 마진 기반 세부 조정을 거친 딥 신경망이 의미론적으로 유의미한 임베딩 공간을 학습하여 제로샷 일반화를 지원할 수 있는가?
• RQ4 커뮤니티 기반 플랫폼은 이러한 모델을 훈련하기 위해 다양하고 고수준의 조작 시연 데이터를 얼마나 효과적으로 수집할 수 있는가?
• RQ5 다른 물체 유형에서 전이된 궤적은 얼마나 새로운, 알려지지 않은 가전제품에서 성공적으로 실행될 수 있는가?

주요 결과

• 모델은 완전히 다른 물체(예: 스위치에서 에스프레소 머신으로)의 조작 궤적을 성공적으로 전이하여, 재학습 없이도 PR2 로봇에서 실행하였다.
• 로봇은 본 적이 없는 에스프레소 머신을 사용하여 라떼 한 잔을 준비하는 데 성공하여, 새로운 가전제품에 대한 제로샷 일반화를 입증하였다.
• 수집된 116개의 물체, 249개의 부품, 1225개의 커뮤니티 기반 시연 데이터셋에서 모든 베이스라인 방법보다 뛰어난 성능을 보였다.
• 네트워크 하위층의 사전 훈련이 표준 사전 훈련 방법보다 성능 향상에 크게 기여하였다.
• 세부 조정 단계에서 손실 보정 마진을 사용함으로써 의미론적으로 더 유의미한 임베딩 공간이 형성되었으며, 제로샷 전이 정확도가 향상되었다.
• 학습된 임베딩 공간의 t-SNE 시각화 결과에서 유사한 포인트 클라우드와 언어 지시문이 명확히 군집되어 있어 효과적인 의미론적 정렬이 이루어졌음을 나타냈다.