[논문 리뷰] Benchmarking Structured Policies and Policy Optimization for Real-World Dexterous Object Manipulation

Niklas Funk, Charles Schaff외 11명|arXiv (Cornell University)|2021. 05. 05.

Robot Manipulation and Learning참고 문헌 53인용 수 23

한 줄 요약

이 논문은 TriFinger 로봇 플랫폼을 사용하여 실제 세계의 다재다능한 조작 작업을 위한 구조화된 정책과 최적화 기법을 벤치마킹한다. 운동 계획, 유연한 임피던스 제어, 잔차 정책 학습 방식을 제안하며, 베이지안 최적화가 하이퍼파rameter 튜닝을 크게 향상시키고, 잔차 정책이 특히 운동 계획에서의 강인성 향상에 기여함을 입증한다. 또한 도메인 랜덤화 없이도 성공적인 시뮬레이션에서 실제 환경으로의 전이가 가능하다.

ABSTRACT

Dexterous manipulation is a challenging and important problem in robotics. While data-driven methods are a promising approach, current benchmarks require simulation or extensive engineering support due to the sample inefficiency of popular methods. We present benchmarks for the TriFinger system, an open-source robotic platform for dexterous manipulation and the focus of the 2020 Real Robot Challenge. The benchmarked methods, which were successful in the challenge, can be generally described as structured policies, as they combine elements of classical robotics and modern policy optimization. This inclusion of inductive biases facilitates sample efficiency, interpretability, reliability and high performance. The key aspects of this benchmarking is validation of the baselines across both simulation and the real system, thorough ablation study over the core features of each solution, and a retrospective analysis of the challenge as a manipulation benchmark. The code and demo videos for this work can be found on our website (https://sites.google.com/view/benchmark-rrc).

연구 동기 및 목표

• 오픈소스 TriFinger 플랫폼을 사용하여 실제 세계의 다재다능한 조작 작업을 위한 재현 가능한 벤치마크를 수립하기 위해.
• 전통적인 로보틱스와 현대의 강화학습을 융합한 구조화된 정책이 샘플 효율성과 신뢰성 향상에 기여하는지 평가하기 위해.
• 실제 환경에서 하이퍼파ram터 최적화를 위한 베이지안 최적화와 잔차 정책 학습의 효과성을 조사하기 위해.
• 학습된 정책의 시뮬레이션에서 실제 환경으로의 전이 성능을 분석하고, 실제 환경 배포에 기여하는 핵심 요소를 규명하기 위해.
• 2020년 실물 로봇 챌린지의 후속 분석을 통해 향후 다재다능한 조작을 위한 벤치마크 및 경쟁 설계에 기여하기 위해.

제안 방법

• 운동 계획(MP), 유연한 임피던스 제어(CIC), 토크 명령을 사용한 작업 특화 그립 정책(CPC)을 포함한 세 가지 구조화된 제어 정책을 개발하였다.
• 각 제어기의 하이퍼파ram터를 튜닝하기 위해 베이지안 최적화(BO)를 적용하였으며, 목적 함수를 기반으로 탐색을 이끄는 가우시안 프로세스 모델을 사용하였다.
• 잔차 정책 학습(RPL)을 통합하여 강화학습을 통해 보정 동작을 학습함으로써 기본 제어기를 정밀하게 조정하였다.
• 다양한 작업 유형과 목표 분포에서 시뮬레이션 및 실제 TriFinger 로봇을 대상으로 광범위한 아블레이션 연구를 수행하였다.
• 스parser 보상, 최종 위치 오차, 1개 조건당 20회 롤아웃에서의 드롭 비율 등의 지표를 포함한 표준화된 평가 프로토콜을 사용하였다.
• 도메인 랜덤화나 피팅 조정 없이도 시뮬레이션에서 실제 하드웨어로의 전이 성능을 평가하였으며, 강인성과 일반화 능력을 분석하였다.

실험 결과

연구 질문

• RQ1 클래식 제어와 학습된 요소를 융합한 구조화된 정책이 실제 세계의 다재다능한 조작 작업에서 정확도, 신뢰성, 샘플 효율성 측면에서 어떻게 비교되는가?
• RQ2 다양한 정책 구조에서 하이퍼파ram터 튜닝을 위해 베이지안 최적화가 얼마나 제어 성능 향상에 기여하는가?
• RQ3 잔차 정책 학습이 실제 환경에서 기본 제어기의 강인성을 향상시키는가? 또한 도메인 랜덤화 없이도 성공적인 시뮬레이션에서 실제 환경으로의 전이를 가능하게 하는가?
• RQ4 시뮬레이션과 실제 환경 배포 간의 성능 특성은 어떻게 다름가? 시뮬레이션에서 실제 환경으로의 격차를 초래하는 요인들은 무엇인가?
• RQ5 2020년 실물 로봇 챌린지에서 얻은 통찰은 향후 다재다능한 조작을 위한 벤치마크 및 경쟁 프로토콜 설계에 어떻게 기여할 수 있는가?

주요 결과

• 베이지안 최적화는 L3 작업에서 모든 제어기에서 성능을 크게 향상시켰으며, 시뮬레이션 및 실제 환경 평가에서 평균 스퍼스-디저스트 보상 증가와 위치 오차 감소를 이끌었다.
• MP-PG 제어기의 경우, 잔차 정책 학습으로 실제 시스템에서 드롭 비율이 40.0%에서 1.74%로 감소하였고, 그립 안정성이 향상되어 치명적인 실패를 방지하였다.
• CPC-TG 제어기는 시뮬레이션에서 최고의 보상(−70.0 ± 9.42)과 낮은 드롭 비율(0.25 ± 0.15)을 기록했지만, 실제 실행에서 더 높은 신뢰성 덕분에 경쟁에서 승리하였다.
• 놀랍게도, 잔차 정책는 피팅 조정이나 도메인 랜덤화 없이도 직접적으로 시뮬레이션에서 실제 하드웨어로 전이되었으며, 강력한 일반화 능력을 보였다.
• CIC-CG 제어기는 BO를 통해 성능 향상을 보였으며, 시뮬레이션에서 평균 보상 −570 ± 350.6과 드롭 비율 3.52 ± 3.91을 기록했고, 실제 환경 성능 저하가 최소한이었다.
• 수동 하이퍼파aram터 사전 지식 없이도 BO는 수동 튜닝 성능을 충족하거나 초월하는 파라미터를 최적화하여, 실제 제어 최적화에서의 효과성을 입증하였다.