[논문 리뷰] MAT: Multi-Fingered Adaptive Tactile Grasping via Deep Reinforcement Learning

Bohan Wu, Iretiayo Akinola외 2명|arXiv (Cornell University)|2019. 09. 10.

Robot Manipulation and Learning인용 수 30

한 줄 요약

MAT는 프опrioceptive 및 촉각 피드백을 사용하여 다손가락 로봇 손이 닫힘 루프, 촉각 기반 抓握을 수행할 수 있도록 하는 딥 강화학습 정책을 제안한다. 이는 시각 전용 열린 루프 시스템에 비해 획기적으로 높은 抓握 성공률을 달성한다. 최소한의 시뮬레이션-현장 간 격차를 가진 시뮬레이션에서만 훈련된 MAT는 5cm 이내의 校정 오차 조건에서 실제 세계의 새로운 물체에서 98.7%의 성공률을 기록하며, 시각적 가림과 시스템의 잘못된 정렬에 대해 뛰어난 내성성을 보여준다.

ABSTRACT

Vision-based grasping systems typically adopt an open-loop execution of a planned grasp. This policy can fail due to many reasons, including ubiquitous calibration error. Recovery from a failed grasp is further complicated by visual occlusion, as the hand is usually occluding the vision sensor as it attempts another open-loop regrasp. This work presents MAT, a tactile closed-loop method capable of realizing grasps provided by a coarse initial positioning of the hand above an object. Our algorithm is a deep reinforcement learning (RL) policy optimized through the clipped surrogate objective within a maximum entropy RL framework to balance exploitation and exploration. The method utilizes tactile and proprioceptive information to act through both fine finger motions and larger regrasp movements to execute stable grasps. A novel curriculum of action motion magnitude makes learning more tractable and helps turn common failure cases into successes. Careful selection of features that exhibit small sim-to-real gaps enables this tactile grasping policy, trained purely in simulation, to transfer well to real world environments without the need for additional learning. Experimentally, this methodology improves over a vision-only grasp success rate substantially on a multi-fingered robot hand. When this methodology is used to realize grasps from coarse initial positions provided by a vision-only planner, the system is made dramatically more robust to calibration errors in the camera-robot transform.

연구 동기 및 목표

• 교정 오차와 시각적 가림 조건에서 시각 전용 열린 루프 抓握의 실패 문제를 해결하기 위해.
• 실시간 적응을 위한 촉각 및 프로피오셉틱 피드백을 사용하는 닫힘 루프 抓握 정책을 개발하기 위해.
• 실세계 정밀 조정 없이도 고정밀한 시뮬레이션-현장 전이를 가능하게 하는 촉각 기반 抓握 정책을 개발하기 위해.
• 시각 기반 시스템이 실패하는 혼잡한 환경과 새로운 물체 상황에서의 抓握 성공률을 향상시키기 위해.
• 기존의 시각 기반 抓握 계획기와 통합하여 성공적인 취급을 위한 최종 단계를 달성하기 위해.

제안 방법

• 최대 엔트로피 딥 강화학습 정책이 타협된 대체 목적함수를 사용하여 탐색과 이용의 균형을 이루도록 훈련된다.
• 정책은 관절 각도, 이진 촉각 접촉, 촉각 접촉의 카르테시안 위치를 기반으로 미세한 손가락 움직임과 재그립 조정을 제어한다.
• 커리큘럼 학습 전략이 점진적으로 손가락을 닫는 동작의 정밀도를 높이며, 거친 열린 루프 정책에서 시작한다.
• 관측 및 동작 모odalities는 시뮬레이션-현장 도메인 격차를 최소화하기 위해 철저히 선택된다. 이에는 관절 상태와 촉각 센서 데이터가 포함된다.
• 정책은 순수하게 시뮬레이션에서 훈련되며, 추가 적응 없이 실세계 하드웨어에 직접 배포된다.
• 초기 抓握 품질이 부족할 경우, 촉각 피드백에 기반해 손가락을 다시 열고 종단기구를 재위치시키는 방식으로 재그립을 가능하게 한다.

실험 결과

연구 질문

• RQ1 촉각 기반, 닫힘 루프 강화학습 정책이 시각 전용 열린 루프 시스템에 비해 획기적으로 抓握 성공률을 향상시킬 수 있는가?
• RQ2 로봇-카메라 변환의 교정 오차에 대해 시뮬레이션-현장 촉각 기반 抓握 정책은 얼마나 내성적인가?
• RQ3 실세계 환경에 대해 정밀 조정 없이도 시뮬레이션에서 훈련된 정책이 직접 전이 가능한가?
• RQ4 촉각 피드백은 나쁜 초도 자세나 물체 형상으로 인한 실패한 抓握에서 얼마나 회복을 가능하게 하는가?
• RQ5 커리큘럼 학습은 복잡한 다손가락 抓握에서 샘플 효율성과 최종 성능을 향상시키는가?

주요 결과

• 실세계 실험에서 MAT는 5cm 이내의 교정 노이즈 조건 하에서 새로운 물체에서 98.7%의 抓握 성공률를 기록했으며, 시각 전용 기준선 대비 20.0%에 그친다.
• 시뮬레이션에서는 MAT가 7.5cm 교정 노이즈 조건 하에서도 높은 성능(96.4% 성공)을 유지하지만, 시각 전용 기준선은 50% 이하로 악화된다.
• MAT의 실세계 성공률는 시뮬레이션 성능와 통계적으로 다를 바 없으며, 고정밀한 시뮬레이션-현장 전이를 확인한다.
• 단일 물체 및 혼잡한 장면을 포함한 모든 테스트 조건에서, MAT는 시각 전용 기준선 대비 4.4–5.2% 높은 성공률를 기록한다.
• 정책은 촉각 피드백에 기반해 손가락을 다시 열고 손을 재위치시킴으로써 실패한 抓握를 성공적으로 회복한다. 이는 열린 루프 시스템에선 존재하지 않는 능력이다.
• 제거 실험 결과에서 촉각 피드백이 내성성에 필수적임을 확인하였으며, 시뮬레이션 및 실세계 환경 모두에서 MAT는 촉각 전용 기준선보다 뛰어난 성능을 보였다.