[논문 리뷰] Solving Challenging Dexterous Manipulation Tasks With Trajectory Optimisation and Reinforcement Learning

Henry Charlesworth, Giovanni Montana|arXiv (Cornell University)|2020. 09. 09.

Robot Manipulation and Learning인용 수 5

한 줄 요약

이 논문은 기존 강화학습(RL) 및 궤적 최적화(TO) 방법이 실패하는, 물체 전달 및 펜 돌리기와 같은 도구 제어 능력이 요구되는 도구 제어 작업을 위한 도전적인 세트를 소개한다. 새로운 궤적 최적화 알고리즘(TOPDM)을 제안하며, 이는 이전 방법들을 능가한다. 또한, 부분적으로 최적화된 TO로 생성된 시범 데이터를 오프-폴리시 강화학습(TD3)과 융합하여 뛰어난 성능을 달성함으로써, 안정적이고 무한한 펜 돌리기 성능을 실현하였다. 이는 인간에게조차 어려운 작업이다.

ABSTRACT

Training agents to autonomously learn how to use anthropomorphic robotic hands has the potential to lead to systems capable of performing a multitude of complex manipulation tasks in unstructured and uncertain environments. In this work, we first introduce a suite of challenging simulated manipulation tasks that current reinforcement learning and trajectory optimisation techniques find difficult. These include environments where two simulated hands have to pass or throw objects between each other, as well as an environment where the agent must learn to spin a long pen between its fingers. We then introduce a simple trajectory optimisation that performs significantly better than existing methods on these environments. Finally, on the challenging PenSpin task we combine sub-optimal demonstrations generated through trajectory optimisation with off-policy reinforcement learning, obtaining performance that far exceeds either of these approaches individually, effectively solving the environment. Videos of all of our results are available at: https://dexterous-manipulation.github.io/

연구 동기 및 목표

• 시뮬레이션 환경에서 이중 손 협응 및 펜 돌리기와 같은 복잡한 손 안에서의 제어 작업을 포함하는, 도어 제어 능력 테스트를 위한 새로운 벤치마크 세트를 구축하는 것.
• 특히 희박한 보상과 고차원 제어 환경에서 기존 RL 및 궤적 최적화 방법이 실패하는 새로운 작업들에 대응하는 것.
• 기존 방법보다 훨씬 뛰어난 성능을 보이는 새로운 궤적 최적화 알고리즘(TOPDM)을 개발하는 것.
• TOPDM에서 생성한 부분 최적화된 시범 데이터를 오프-폴리시 강화학습(TD3)과 융합하여, RL 또는 TO 단독으로는 성공하지 못한 가장 어려운 작업인 PenSpin을 해결하는 것.
• 불완전하지만 자율적으로 생성된 시범 데이터가 복잡한 도어 제어 작업에서 강화학습 성능을 크게 향상시킬 수 있음을 보여주는 것.

제안 방법

• MPPI와 같은 기존 방법을 개선하기 위해 동작 결합 및 궤적의 반복적 정밀 조정을 통합한 새로운 궤적 최적화 알고리즘(TOPDM)을 제안한다.
• 고차원 동작 공간에서 궤적을 최적화하기 위해 기울기 기반 접근이 아닌 샘플링 기반 접근을 사용하며, 특히 로봇 손 제어에서의 복잡한 접촉 역학을 다루는 데 중점을 둔다.
• 궤적 최적화 중에 다수의 손가락 간의 조율되고 자연스러운 움직임을 유도하기 위해 동작 결합(하나의 초항수 β)을 적용한다.
• TOPDM가 생성한 시범 데이터를 오프-폴리시 딥 강화학습(TD3)과 융합하기 위해 '시범 재시작' 전략을 적용하며, 이는 RL 에이전트를 TOPDM 궤적으로 초기화하는 방식이다.
• PenSpin 환경에서 펜의 지속적인 돌림을 장려하기 위한 보상 형상화 전략을 적용하며, 각도 속도와 안정성 기반의 희박한 보상을 사용한다.
• 10개의 독립된 시험을 통해 성능를 검증하였으며, 안정성과 일반화 능력을 평가하기 위해 중앙값 수익과 신뢰구간을 활용한다.

실험 결과

연구 질문

• RQ1 기존의 강화학습 및 궤적 최적화 방법은 이중 손 협응과 복잡한 손 안에서의 제어 작업을 포함하는 새로운 도전적인 도어 제어 작업을 해결할 수 있는가?
• RQ2 새로운 궤적 최적화 알고리즘(TOPDM)은 이 새로운 벤치마크 작업에서 기존의 TO 및 RL 방법보다 뚜렷이 뛰어난 성능을 보일 수 있는가?
• RQ3 TOPDM에서 생성한 부분 최적화된 시범 데이터를 오프-폴리시 RL(TD3)과 융합하면, 개별적으로 각각 성능을 내는 것보다 성능 향상이 이루어지는가?
• RQ4 고차원 연속 제어 환경에서 궤적 품질 향상과 후속 RL 학습 향상에 있어 동작 결합(β)이 얼마나 중요한가?
• RQ5 TO와 RL을 융합한 시스템은 펜을 손가락 사이에서 안정적으로 무한히 돌리는 데 성공할 수 있는가?

주요 결과

• PenSpin 작업은 매우 도전적이다: MPPI와 TD3가 각각 단독으로는 어떤 일관된 돌림도 달성하지 못하며, 중앙값 수익이 거의 0에 수렴한다.
• TOPDM은 기존의 TO 방법보다 뚜렷이 뛰어나며, 거의 모든 시험에서 펜을 돌리는 데 성공하지만, 250단계 전부를 지속적인 돌림으로 유지하지는 못한다.
• TOPDM에서 생성한 시범 데이터를 TD3와 융합한 결과(시범 재시작 방식), 각각의 방법보다 훨씬 높은 중앙값 수익을 달성하였으며, 10개 시험 중 8개에서 TD3의 기준을 초월하였다.
• 동작 결합 매개수 β는 핵심적이다: β = 0.7일 경우 8/10번의 성공 시험을 기록하지만, β = 1.0(결합 없음)일 경우 단지 1/10번의 성공에 그친다. 이는 결합이 정책 일반화 능력을 향상시킨다는 것을 시사한다.
• TOPDM 시범 데이터를 기반으로 학습된 최종 TD3 정책는 표준 250단계 에피소드 길이를 초월해 펜을 무한히 돌리는 데 성공하였으며, 안정적이고 장기적인 성능을 보였다.
• 결과적으로, 이는 자율적으로 복잡한 도어 제어 작업을 학습하는 데 있어서 현재까지 가장 인상적인 사례 중 하나이며, 인간 수준의 난이도에 도달하였다.