[논문 리뷰] Learning Dexterous Manipulation Policies from Experience and Imitation

Vikash Kumar, Abhishek Gupta외 2명|arXiv (Cornell University)|2016. 11. 15.

Robot Manipulation and Learning참고 문헌 30인용 수 39

한 줄 요약

이 논문은 센서 데이터에서 유도된 局소 선형 모델을 사용하여 궤적 최적화를 수행함으로써 5손가락 로봇 손에 대한 민감한 조작 정책을 훈련하기 위한 하이브리드 학습 접근법을 제안한다. 인간의 원격 조작을 통한 모방 학습과 최근접 이웃 또는 딥 러닝을 통한 일반화를 결합하여, 최소한의 데이터로 시뮬레이션 및 실제 하드웨어에서 강건한 조작을 달성한다 — ~60회의 시험에서 훈련된 局소 제어기를 전역 정책으로 보간할 수 있음을 보여준다.

ABSTRACT

We explore learning-based approaches for feedback control of a dexterous five-finger hand performing non-prehensile manipulation. First, we learn local controllers that are able to perform the task starting at a predefined initial state. These controllers are constructed using trajectory optimization with respect to locally-linear time-varying models learned directly from sensor data. In some cases, we initialize the optimizer with human demonstrations collected via teleoperation in a virtual environment. We demonstrate that such controllers can perform the task robustly, both in simulation and on the physical platform, for a limited range of initial conditions around the trained starting state. We then consider two interpolation methods for generalizing to a wider range of initial conditions: deep learning, and nearest neighbors. We find that nearest neighbors achieve higher performance. Nevertheless, the neural network has its advantages: it uses only tactile and proprioceptive feedback but no visual feedback about the object (i.e. it performs the task blind) and learns a time-invariant policy. In contrast, the nearest neighbors method switches between time-varying local controllers based on the proximity of initial object states sensed via motion capture. While both generalization methods leave room for improvement, our work shows that (i) local trajectory-based controllers for complex non-prehensile manipulation tasks can be constructed from surprisingly small amounts of training data, and (ii) collections of such controllers can be interpolated to form more global controllers. Results are summarized in the supplementary video: https://youtu.be/E0wmO6deqjo

연구 동기 및 목표

• 수동으로 설계된 제어기를 사용하지 않고도 고차원적이고 복잡한 민감한 조작 정책을 학습하는 데 도전하는 것.
• 작은 양의 경험과 인간의 시연를 사용하여 비포획 조작 작업을 위한 국소 피드백 제어기를 스케일러블하게 훈련하는 방법을 개발하는 것.
• 보간 기법을 사용하여 국소 제어기를 더 넓은 초기 조건으로 일반화하고, 강건성과 성능을 평가하기 위해 딥 러닝과 최근접 이웃을 평가하는 것.
• 시각 입력에 의존하지 않고 프оп리오셉시브 및 촉각 피드백만을 사용하여 블라인드 조작의 가능성을 입증하는 것.

제안 방법

• 관절 상태, 실린더 압력, 물체 역학 등의 센서 데이터에서 직접 학습된 시간에 따라 변하는 선형-가우시안 모델을 사용하여 궤적 최적화를 통해 국소 제어기를 훈련한다.
• 표본 효율성과 수렴성을 향상시키기 위해 가상 환경에서 원격 조작를 통해 수집한 인간의 시범을 최적화의 초기 조건으로 사용한다.
• 국소 정책을 일반화하기 위해 두 가지 보간 방법을 사용한다: (1) 촉각 및 프로피오셉티브 피드백에서 시간 불변 정책을 학습하는 딥 네ural 네트워크, (2) 초기 물체 상태에 기반해 국소 제어기를 선택하는 최근접 이웃 접근법.
• 최근접 이웃 방법을 위해 운동 캡처를 사용하여 초기 물체 상태를 감지하고, 실행 시작 시 시간에 따라 변화하는 국소 제어기 간 전환을 가능하게 한다.
• ADROIT 로봇 플랫폼에서 100차원 상태 공간(24개 관절, 40개 펌프 압력, 물체 자세/속도)과 40차원 제어 공간(밸브 명령)을 활용한다.
• 공기 압력 구동 및 힘줄 기반 동역학의 복잡성에도 불구하고 정확한 데이터 기반 모델을 학습하기 위해 정규화 및 시스템 식별 기법을 적용한다.

실험 결과

연구 질문

• RQ1 소량의 경험과 인간의 시범을 기반으로 복잡한 비포획 조작을 위한 국소 궤적 기반 제어기를 효과적으로 학습할 수 있는가?
• RQ2 특히 딥 러닝과 최근접 이웃을 포함한 일반화 기법이 국소 제어기를 더 넓은 초기 조건으로 얼마나 잘 확장할 수 있는가?
• RQ3 촉각 감각과 프로피오셉션 외에 시각 피드백을 사용하지 않고도 민감한 조작 정책을 얼마나 잘 학습할 수 있는가?
• RQ4 시간 불변 신경망 정책의 성능이 시간에 따라 변화하는 최근접 이웃 전환 정책과 비교할 때 강건성과 성공률 측면에서 어떻게 다른가?

주요 결과

• 실제 ADROIT 플랫폼에서 약 60회의 시험으로 훈련된 국소 제어기는 제한된 초기 조건 범위에서 복잡한 비포획 조작 작업(예: 물체 회전)을 성공적으로 수행한다.
• 최근접 이웃 일반화 방법이 다양한 초기 상태에서 성공률과 강건성 측면에서 딥 네ural 네트워크보다 뛰어난 성능을 보였다.
• 딥 네ural 네트워크 제어기는 시각 입력 없이도 촉각 및 프로피오셉티브 피드백만을 사용하여 블라인드 조작을 수행했다.
• 신경망은 시간 불변 정책을 학습한 반면, 최근접 이웃 방법은 초기 상태에 기반해 시간에 따라 변화하는 제어기를 선택했으며, 이는 일반화와 적응성 사이의 상충 관계를 보여준다.
• 두 일반화 방법 모두 잠재력을 보였지만, 특히 불안정하거나 고차원적인 작업을 다룰 땐 향상 여지가 있었다.
• 결과적으로, 모델 기반 궤적 최적화와 데이터 기반 일반화를 조합함으로써 최소한의 데이터로 민감한 조작 기술을 실용적으로 학습할 수 있음을 시사한다.