[논문 리뷰] Vision-based Robot Manipulation Learning via Human Demonstrations

Zhixin Jia, Mengxiang Lin외 2명|arXiv (Cornell University)|2020. 03. 01.

Multimodal Machine Learning Applications참고 문헌 22인용 수 7

한 줄 요약

이 논문은 단일 제3인칭 시각적 시범만을 사용하여 다양한 물체와 환경 간의 일반화를 가능하게 하는 시각 기반 로봇 조작 학습 프레임워크를 제안한다. 동작 인식, 물체 검출, 그리고 동작-물체 추론을 위한 텍스트 기반 사전 지식 기반을 결합함으로써, 새로운 물체와 다양한 맥락에서 단순하고 복잡한 일상 과제를 실세계에서 수행할 때 90% 이상의 성공률을 달성한다.

ABSTRACT

Vision-based learning methods provide promise for robots to learn complex manipulation tasks. However, how to generalize the learned manipulation skills to real-world interactions remains an open question. In this work, we study robotic manipulation skill learning from a single third-person view demonstration by using activity recognition and object detection in computer vision. To facilitate generalization across objects and environments, we propose to use a prior knowledge base in the form of a text corpus to infer the object to be interacted with in the context of a robot. We evaluate our approach in a real-world robot, using several simple and complex manipulation tasks commonly performed in daily life. The experimental results show that our approach achieves good generalization performance even from small amounts of training data.

연구 동기 및 목표

• 로봇이 실세계 또는 시뮬레이션 데이터를 광범위하게 수집하지 않고도 단일 제3인칭 시각적 시범만으로도 복잡한 조작 기술을 학습할 수 있도록 하는 것.
• 동작-물체 관계에 대한 사전 지식을 통합하여 다양한 물체와 환경 간의 일반화 능력을 향상시키는 것.
• 로봇에 특화된 데이터 수집이 필요 없이 확장 가능하고 실세계 적용이 가능한 관찰 기반 모방 학습 프레임워크를 개발하는 것.
• 다양한 물체와 환경 조건에서 일상 생활 조작 과제의 범위에 걸쳐 접근 방식의 효과성을 검증하는 것.

제안 방법

• 딥 컨volution 신경망(AP-CNN)을 사용하여 인간 시범의 영상 시퀀스에서 동작 원소를 분류한다.
• 창문 필터 알고리즘이 연속된 동작 시퀀스에서 핵심 동작 원소를 추출하여 시간 모델링을 향상시킨다.
• Mask R-CNN이 로봇의 시각적 영역 내에서 물체 정체성과 3D 자세를 식별하기 위해 인스턴스 세그멘테이션과 물체 검출을 수행한다.
• 주성분 분석(PCA)이 세그멘테이션 마스크를 로봇 제어를 위한 물리적 양으로 변환한다.
• 베이지안 확률 모델이 일상생활의 동작-물체 쌍에 대한 수동으로 총집한된 텍스트 코퍼스를 통합하여 과제 수행 중에 적절한 물체를 추론한다.
• 행동 계획 모듈은 사전 지식 기반을 활용하여 시범으로 제시된 동작과 환경적 맥락에 따라 어떤 물체를 조작해야 할지 추론한다.

실험 결과

연구 질문

• RQ1 로봇이 단일 제3인칭 시범만으로도 새로운 물체와 환경으로의 조작 기술 일반화가 가능한가?
• RQ2 텍스트 기반 사전 지식 기반의 통합이 조작 계획 중 물체 추론 능력 향상에 얼마나 효과적인가?
• RQ3 시각 기반 동작 인식과 물체 검출이 실세계 로봇 조작에서 얼마나 강력한 스킬 전이를 가능하게 하는가?
• RQ4 이 시스템은 새로운 물체를 포함한 다단계 조작 과제에서 어떤 성능을 보이는가?

주요 결과

• 새로운 물체와 무작위로 배치된 물체를 사용하여 테스트한 결과, 단순 조작 과제 5개(Pick-place, Push away, Deliver object)에서 성공률가 100%를 달성했다.
• 오픈 병 및 물 부어넣기 과제에서는 성공률가 90% (10회의 시도 중 9회)였으며, 물체의 다양성에도 불구하고 효과적인 일반화를 보였다.
• 복수의 하위 과제를 포함하는 복잡한 과제(예: 식탁 정리 및 상자 배달, 병 열기 및 용기로 물 따르기)에서는 성공률가 90% (10회의 시도 중 9회)였으며, 새로운 물체를 사용한 상황에서도 성공했다.
• 실패 원인은 주로 물체 검출 오류 또는 일관되지 않은 동작 원소 추출에 기인하여, 인식 및 동작 시퀀스 모델링 향상 여지가 있음을 시사했다.
• 초기 인식 모델 외에 추가적인 실세계 로봇 또는 시뮬레이션 데이터 수집 없이도, 다양한 실세계 시나리오에서 안정적인 성능을 보였다.