[논문 리뷰] Deep Dynamics Models for Learning Dexterous Manipulation

Anusha Nagabandi, Kurt Konoglie외 2명|arXiv (Cornell University)|2019. 09. 25.

Robot Manipulation and Learning참고 문헌 38인용 수 67

한 줄 요약

본 논문은 학습된 동역학의 앙상블을 이용한 온라인 계획을 활용하는 깊은 모델 기반 강화학습 방법인 PDDM을 제시한다. 이 방법은 샘플 효율적이고 손재주 있는 조작을 고-자유도(DoF) 손에서 달성하며, 현실 세계의 24-DoF를 포함하고 약 4시간의 데이터로 가능하다.

ABSTRACT

Dexterous multi-fingered hands can provide robots with the ability to flexibly perform a wide range of manipulation skills. However, many of the more complex behaviors are also notoriously difficult to control: Performing in-hand object manipulation, executing finger gaits to move objects, and exhibiting precise fine motor skills such as writing, all require finely balancing contact forces, breaking and reestablishing contacts repeatedly, and maintaining control of unactuated objects. Learning-based techniques provide the appealing possibility of acquiring these skills directly from data, but current learning approaches either require large amounts of data and produce task-specific policies, or they have not yet been shown to scale up to more complex and realistic tasks requiring fine motor skills. In this work, we demonstrate that our method of online planning with deep dynamics models (PDDM) addresses both of these limitations; we show that improvements in learned dynamics models, together with improvements in online model-predictive control, can indeed enable efficient and effective learning of flexible contact-rich dexterous manipulation skills -- and that too, on a 24-DoF anthropomorphic hand in the real world, using just 4 hours of purely real-world data to learn to simultaneously coordinate multiple free-floating objects. Videos can be found at https://sites.google.com/view/pddm/

연구 동기 및 목표

• 다중 손가락을 가진 복잡한 접촉 역학을 고려하여 손 안의 섬세한 조작 학습의 필요성을 제시한다.
• 고차원 매니퓰레이터로 확장 가능한 샘플 효율적인 모델 기반 RL 프레임워크를 개발한다.
• 불확실성 인식 신경동역학과 온라인 계획을 활용해 실시간 제어의 견고함을 가능하게 한다.
• 제한된 데이터로 24-DoF 인체 모형 손을 학습시켜 현실 세계의 응용 가능성을 입증한다.

제안 방법

• 신경망을 사용하여 s′|s,a 를 평균 fθ(s,a)와 학습된 또는 고정된 공분산을 갖는 가우시안으로 모델링하여 손-물체 간의 복잡한 상호작용을 포착한다.
• 부트스트랩 앙상블을 활용해 동역학에 대한 학문적 불확실성을 추정하고 계획 중 강건성을 개선한다.
• 학습된 동역학으로 결과를 예측하여 짧은 수평의 행동 시퀀스를 선택하기 위해 모델 예측 기반 제어(MPC)로 온라인 계획을 적용한다.
• 무향(gradient-free) 궤적 최적화를 탐구하고 Random Shooting에서 Reward-Weighted Refinement가 가미된 Iterative Random-Shooting(PDDM)으로 개선하며, 보상 가중 경로 적분식(soft, reward-weighted path integral formulation)에 기초한 계획 업데이트 규칙을 포함한다.
• 동작 시퀀스 스무딩과 시간 동안의 탐색을 위한 평균 궤적과 필터링된 노이즈를 샘플링하여 탐색 차원을 축소하고 계획의 안정성을 개선한다.
• 각 단계에서 앙상블로 예측된 보상을 사용해 H-단계 시퀀스를 최적화하고, 첫 행동을 실행한 후 상태 정보를 업데이트하여 루프를 닫는다.

실험 결과

연구 질문

• RQ1 온라인 계획을 포함한 심층 모델 기반 RL 접근법이 시뮬레이션과 실제 환경에서 다양한 손 재주 조작 기술을 학습할 수 있는가?
• RQ2 모델 용량, 앙상블, 계획 수평, 계획 알고리즘, 보상 가중치 등 설계 선택이 성능과 데이터 효율성에 어떤 영향을 미치는가?
• RQ3 고차원 손재주 과제에서 PDDM이 최첨단 모델 기반 및 모델-free RL 방법과 비교해 어떤 성능 차이를 보이는가?
• RQ4 학습된 동역학 모델이 작업 간 일반화 및 관련Manipulation 도전에 재사용될 수 있는가?
• RQ5 제한된 데이터로 완전한 현실 세계의 24-DoF 손이 자유 부유 물체를 조작하는 접근 방식으로 이식 가능한가?

주요 결과

• PDDM은 이전 방법들에 비해 상당히 적은 데이터로도 복잡한 손재주 조작 과제를 학습한다.
• 앙상블은 학습 초기의 모델 불확실성을 포착하여 안정성과 성능을 향상시킨다.
• 계획 수평은 균형이 필요하며, 너무 짧으면 탐욕적이고 너무 길면 모델 오차로 인한 문제가 생긴다.
• 보상 가중 경로 적분 계획과 동작 스무딩을 가진 PDDM은 Random Shooting 및 CEM 기반 플래너보다 우수한 성능을 보인다.
• 24-DoF Shadow Hand에서 PDDM은 약 2시간의 현실 세계 데이터로 Baoding 공 회전 각 90도에서 거의 100% 성공, 180도 회전에서 약 54%의 성공률을 달성한다(Baoding 작업).
• 현실 세계 Baoding 구슬 실험은 10 Hz 플래너와 1 kHz 저수준 컨트롤러로 현실 세계에서 학습 가능성을 보여주며, 2시간의 학습 효율성과 관련 작업으로의 이전 가능성을 입증한다.