[논문 리뷰] A Review of Robot Learning for Manipulation: Challenges, Representations, and Algorithms

Oliver Kroemer, Scott Niekum외 1명|arXiv (Cornell University)|2019. 07. 06.

Robot Manipulation and Learning참고 문헌 469인용 수 97

한 줄 요약

이 논문은 로봇 조작에 머신러닝이 어떻게 적용되는지 개관하고, 구조화된 조작 학습 문제를 형식화하며, 핵심 표현, 학습 도전과제, 태스크 패밀리 간 전이를 개략한다.

ABSTRACT

A key challenge in intelligent robotics is creating robots that are capable of directly interacting with the world around them to achieve their goals. The last decade has seen substantial growth in research on the problem of robot manipulation, which aims to exploit the increasing availability of affordable robot arms and grippers to create robots capable of directly interacting with the world to achieve their goals. Learning will be central to such autonomous systems, as the real world contains too much variation for a robot to expect to have an accurate model of its environment, the objects in it, or the skills required to manipulate them, in advance. We aim to survey a representative subset of that research which uses machine learning for manipulation. We describe a formalization of the robot manipulation learning problem that synthesizes existing research into a single coherent framework and highlight the many remaining research opportunities and challenges.

연구 동기 및 목표

• 기존 연구를 하나로 묶는 로봇 조작 학습의 형식적 프레임워크를 요약한다.
• 학습을 가능하게 하는 조작 과제의 핵심 구조적 특성(물리학, 언더액추에이션, 계층 구조)을 강조한다.
• 작업 패밀리에 걸친 학습을 지원하기 위해 객체 중심, 수동/상호작용적 지각을 포함한 표현과 지각을 논의한다.
• 상태 공간 발견, 전이 모델, 모터 정책, 기술 모델링, 계층적 추상화에 대한 학습 방법을 설명한다.
• 작업 간 전이와 열린 세계 환경에서의 기회와 남은 과제를 식별한다.

제안 방법

• 공유된 작용 공간과 작업별 상태, 보상, 맥락을 가진 구조화된 MDP 모음(태스크 패밀리)으로 조작 학습을 형식화한다.
• 객체 중심의 상태 및 맥락 인수를 도입하여 작업 간 객체 수준의 일반화를 가능하게 한다.
• 언더액추에이션 조작과 모드 전환을 포착하기 위한 하이브리드, 조각별 연속 동역학(모드)을 설명한다.
• 작업 간 재사용 가능한 모터 스킬을 가능하게 하기 위해 옵션(스킬)과 계층적 표현을 도입한다.
• 수동 지각과 상호작용 지각을 구분하고 물체 속성 및 상태 표현을 개선하기 위한 능동/자기지도 학습에 대해 논의한다.
• 다양한 객체 속성 및 환경 구성을 가진 작업들 간에 이전되는 맥락 인식 정책을 통해 태스크 패밀리 전반의 학습을 제안한다.

실험 결과

연구 질문

• RQ1 관련 작업 가족 간의 학습을 지원하도록 조작 작업을 어떻게 형식화할 수 있는가?
• RQ2 어떤 표현(객체 중심, 계층적)가 작업 및 객체 간 일반화를 가장 잘 지원하는가?
• RQ3 상태, 전이, 보상 모델을 태스크 패밀리 전반에서 어떻게 학습하고 전이할 수 있는가?
• RQ4 상호작용 지각과 능동 학습이 효율적 조작 학습에서 어떤 역할을 하는가?
• RQ5 스킬을 어떻게 정의하고, 전이하며, 새로운 작업을 해결하기 위해 구성할 수 있는가?

주요 결과

• 조작 작업은 객체 중심 상태 공간을 갖춘 구조화된 MDP로 자연스럽게 모델링되며, 작업 인스턴스 간의 전이를 가능하게 한다.
• 언더액추에이션과 모드 전환은 학습 알고리즘이 다루어야 하는 하이브리드 역학을 만들며, 종종 계층적이거나 스킬 기반 접근을 통해 다룬다.
• 객체 중심 표현(포인트, 파트, 객체 수준)과 상호작용 지각은 작업과 객체 간 일반화를 향상시킨다.
• 스킬(옵션)과 계층적 분해는 재사용 가능한 모터 정책과 태스크 패밀리 간 모듈식 학습을 가능하게 한다.
• 상호작용 지각과 능동 학습은 불확실성을 줄이고 수동 지각의 자기 주도적 근거 마련을 가능하게 하여 모델링 및 제어를 개선한다.
• 태스크 패밀리 간 전이는 맥락 벡터와 객체 수준 구조에 의존하여 새로운 작업에 정책과 모델을 일반화한다.