[논문 리뷰] Learning Contact-Rich Manipulation Skills with Guided Policy Search

Sergey Levine, Nolan Wagener외 1명|arXiv (Cornell University)|2015. 01. 22.

Robot Manipulation and Learning참고 문헌 25인용 수 50

한 줄 요약

이 논문은 일반적인 시간에 따라 변하는 선형-가우시안 제어기를 사용하여 접촉이 풍부한 조작 기술을 학습하고, 신경망을 통해 이를 하나의 비선형 정책으로 통합하는 지도된 정책 탐색 방법을 제안한다. 이 방법은 단지 몇 분 간의 실제 세계 상호작용과 최소한의 사전 지식만으로도 복잡하고 강건한 조작 행동—예를 들어 장난감 비행기 조립 및 조임이 강한 부품 삽입—을 빠르고 샘플 효율적으로 학습할 수 있도록 한다.

ABSTRACT

Autonomous learning of object manipulation skills can enable robots to acquire rich behavioral repertoires that scale to the variety of objects found in the real world. However, current motion skill learning methods typically restrict the behavior to a compact, low-dimensional representation, limiting its expressiveness and generality. In this paper, we extend a recently developed policy search method \cite{la-lnnpg-14} and use it to learn a range of dynamic manipulation behaviors with highly general policy representations, without using known models or example demonstrations. Our approach learns a set of trajectories for the desired motion skill by using iteratively refitted time-varying linear models, and then unifies these trajectories into a single control policy that can generalize to new situations. To enable this method to run on a real robot, we introduce several improvements that reduce the sample count and automate parameter selection. We show that our method can acquire fast, fluent behaviors after only minutes of interaction time, and can learn robust controllers for complex tasks, including putting together a toy airplane, stacking tight-fitting lego blocks, placing wooden rings onto tight-fitting pegs, inserting a shoe tree into a shoe, and screwing bottle caps onto bottles.

연구 동기 및 목표

• 사전 정의된 저차원 정책 표현이나 전문가 시연에 의존하지 않고도 복잡하고 접촉이 풍부한 조작 작업을 자율적으로 학습할 수 있도록 하는 것.
• 적응형 샘플링과 스텝 사이즈 조정을 도입하여 실제 로봇 학습에서의 샘플 복잡도를 줄이는 것.
• 합성 데이터 증강을 사용하여 새로운 조건, 예를 들어 새로운 목표 위치 등에 대한 학습 정책의 일반화 능력을 향상시키는 것.
• 지속적인 정책 탐색을 통해 실제 세계 시험 수가 적은 경우에도 고용량 비선형 정책(예: 딥 신경망)을 훈련하는 것.
• 삽입, 쌓기, 나사 조임 등 다양한 조작 작업에 적용 가능한 일반적인 비용 함수 프레임워크를 개발하는 것.

제안 방법

• 주어진 작업에 대해 다양한 궤적을 효율적으로 탐색할 수 있도록 반복적으로 재적합된 시간에 따라 변하는 선형-가우시안 제어기를 사용하여 복잡한 동역학을 탐색하는 것.
• 다양한 선형-가우시안 제어기를 하나의 비선형 정책으로 통합하기 위해 지도된 정책 탐색을 적용하며, 이는 딥 신경망과 같은 임의의 파rameterization을 포함한다.
• 반복마다 실제 세계 시험 수를 동적으로 조정하여 상호작용 시간을 줄이는 적응형 샘플 수 조정 기법을 도입하는 것.
• 초기 단계에서 더 쉽게 학습할 수 있도록 학습 속도를 가속화하는 스텝 사이즈 적응 방법을 개발하는 것.
• 실제 데이터가 제한되어 있으므로, 추정된 상태-행동 마진 분포에서 유도된 합성 샘플을 사용하여 비선형 정책의 훈련 데이터 세트를 증강하는 것.
• 최종 정책를 표현하기 위해 두 개의 히든 레이어를 가진 신경망을 사용하며, 소프트 ReLU 비선형성과 선형 출력 레이어를 적용하여 복잡한 조작 작업에 대해 높은 표현 능력을 확보하는 것.

실험 결과

연구 질문

• RQ1 일반적인 고차원 정책 표현 방식이 물체의 동역학에 대한 사전 지식이나 전문가 시범 없이도 접촉이 풍부한 조작 기술을 학습할 수 있는가?
• RQ2 실제 로봇 학습에서 복잡한 조작 작업에 대해 샘플 효율성을 어떻게 향상시킬 수 있는가?
• RQ3 제한된 초기 조건 세트에 대해 훈련된 후, 단일 비선형 정책이 새로운 목표 위치와 구성에 얼마나 잘 일반화되는가?
• RQ4 합성 데이터 증강이 깊은 신경망 정책 훈련에서 희소한 실제 세계 데이터를 효과적으로 보완할 수 있는가?
• RQ5 적응형 샘플링과 스텝 사이즈 제어를 통해 지도된 정책 탐색을 어떻게 향상시켜 실제 로봇 플랫폼에서의 상호작용 시간을 줄일 수 있는가?

주요 결과

• 이 방법은 단지 몇 분 간의 실제 세계 상호작용 후에 조립된 장난감 비행기, 조임이 강한 레고 블록 쌓기, 신발 나사 삽입 등의 강건하고 신속하며 유연한 조작 행동을 학습하였다.
• 신경망 정책는 링-온-피그 및 레고 블록 작업에서 테스트 위치에서 100% 성공률를 달성했으며, 훈련 시 네 개의 초기 위치만을 사용했음에도 불구하고 새로운 목표 위치로의 일반화가 가능했다.
• 훈련 중에 피크 위치에 노이즈를 추가함으로써 정책가 목표 위치와 성공 사이의 일반화 가능한 맵핑을 학습할 수 있었고, 특정 관절 구성에 대한 과적합을 줄였다.
• 적응형 샘플 수 및 스텝 사이즈 기법은 실제 세계 시험 횟수를 크게 줄였으며, 이는 실제 로봇 구현에 실용적인 방법이 되었다.
• 추정된 상태-행동 마진에서 유도된 합성 데이터 증강은 실제 세계 데이터가 적은 상황에서 대규모 신경망을 훈련시키는 데 기여했으며, 정책의 일반화 능력을 향상시켰다.
• 최종 비선형 정책는 훈련 중에 볼 수 없었던 새로운 테스트 포인트에도 효과적으로 일반화되었으며, 이는 강력한 강건성과 적응 능력을 보여주었다.