[논문 리뷰] Grasp and Motion Planning for Dexterous Manipulation for the Real Robot Challenge

Takuma Yoneda, Charles Schaff외 2명|arXiv (Cornell University)|2021. 01. 08.

Robotic Path Planning Algorithms참고 문헌 10인용 수 7

한 줄 요약

이 논문은 TriFinger 로봇 플랫폼을 사용한 민감한 조작을 위한 그립 및 운동 계획 프레임워크를 제시한다. 이는 운동 프리미티브, RRT 기반 경로 계획을 통한 그립 샘플링, 피드백 제어를 조합한 것으로, 시뮬레이션으로 훈련된 잔차 정책과 강건한 PD 제어를 활용하여 실시간으로 노이즈가 있는 관측 조건과 실패 복구 능력을 갖춘 강력한 성능을 입증했다. Real Robot Challenge의 2단계 및 3단계에서 1위를 차지하였다.

ABSTRACT

This report describes our winning submission to the Real Robot Challenge (https://real-robot-challenge.com/). The Real Robot Challenge is a three-phase dexterous manipulation competition that involves manipulating various rectangular objects with the TriFinger Platform. Our approach combines motion planning with several motion primitives to manipulate the object. For Phases 1 and 2, we additionally learn a residual policy in simulation that applies corrective actions on top of our controller. Our approach won first place in Phase 2 and Phase 3 of the competition. We were anonymously known as `ardentstork' on the competition leaderboard (https://real-robot-challenge.com/leader-board). Videos and our code can be found at https://github.com/ripl-ttic/real-robot-challenge.

연구 동기 및 목표

• 노이즈가 많은 인식 조건과 복잡한 자세 요구 조건 하에서 소형 직육면체 물체의 민감한 조작 문제를 해결한다.
• 물체 낙하와 같은 실패 상황을 처리할 수 있는 강건하고 실시간 그립 및 운동 계획 시스템을 개발한다.
• 시뮬레이션에서 잔차 정책 학습을 통해 컨트롤러 성능을 향상시키고 시뮬레이션에서 실제 세계로의 전이를 가능하게 한다.
• 난이도가 점점 높아지는 여러 단계에서 목표 자세에 도달하는 데 있어 높은 정확도와 빠른 속도를 확보한다.
• 센서 노이즈와 기계적 불확실성에도 불구하고 그립 및 운동 실행의 안정성과 정밀도를 확보한다.

제안 방법

• 가능한 그립을 샘플링하고 RRT를 사용하여 목표 자세로의 충돌 없는 운동 경로를 생성하는 그립 계획 루프를 활용한다.
• 계획 복잡성을 줄이기 위해 물체 정렬을 위한 운동 프리미티브를 통합한다: 예비 그립 위치 조정, 중심 이동, 자세 정렬.
• 계획된 관절 궤적을 추적하기 위해 PD 제어를 사용하며, 1단계 및 2단계에서는 그립 안정성을 향상시키기 위해 힘 제어 및 잔차 정책 피드백을 적용한다.
• 목표 외력에서 관절 토크를 계산하기 위해 역행렬 제어를 적용하고, 중력 보상 및 마찰 원추 제약 조건을 포함한다.
• 시뮬레이션에서 Proximal Policy Optimization (PPO)를 사용해 잔차 정책을 훈련시키며, 학습을 안정화시키기 위해 평균 0, 분산이 낮은 행동 분포로 초기화한다.
• 목표 거리, 토크/속도 정규화, 슬립 페널티를 조합한 보상 함수를 사용하여 단단한 그립과 부드러운 운동을 장려한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 물체 자세 추정 조건 하에서 로봇이 민감한 조작을 위한 그립과 운동을 어떻게 강건하게 계획할 수 있는가?
• RQ2 학습된 잔차 정책이 시뮬레이션에서 기본 운동 제어기 성능을 얼마나 향상시키며, 실제 세계 실행으로 일반화할 수 있는가?
• RQ3 운동 프리미티브는 복잡한 조작 작업의 계획 문제를 어떻게 단순화하는가?
• RQ4 힘 제어 및 잔차 정책 피드백이 있는 PD 제어가 운동 중 그립 안정성을 유지하는 데 얼마나 효과적인가?
• RQ5 도메인 랜덤라이제이션 또는 실제 데이터 피팅 없이, 시뮬레이션으로 훈련된 정책이 실제 로봇으로 효과적으로 전이될 수 있는가?

주요 결과

• 시스템은 2단계(실제 로봇 큐브 조작) 및 3단계(소형 직육면체 조작)에서 모두 1위를 차지하여 높은 성능과 강건성을 입증하였다.
• 시뮬레이션에서 훈련된 잔차 정책은 도메인 랜덤라이제이션 또는 실제 데이터 피팅 없이도 실제 로봇에서 컨트롤러 성능을 크게 향상시켰다.
• 힘 제어 및 잔차 정책 피드백은 자세 추정이 정확한 1단계 및 2단계에서 그립 불안정성을 감소시키고 성공률을 향상시켰다.
• 노이즈가 많은 자세 추정 조건으로 인해 3단계에서는 피드백이 없는 PD 제어만으로도 충분하고 강건했으며, 관측 오류가 있음에도 안정적인 실행을 가능케 하였다.
• 시스템은 물체 낙하와 같은 실패 상황에서 성공적으로 복구했고, 높은 일관성으로 복잡한 다단계 조작 시퀀스를 수행하였다.
• RRT 실행 중 계획 지연과 높은 음수 보상은 주요 성능 저하 요인으로 규명되었으며, PRM 기반 사전 계산이 속도 향상에 기여할 수 있음을 시사한다.