[논문 리뷰] Learning to Grasp the Ungraspable with Emergent Extrinsic Dexterity

Wenxuan Zhou, David Held|arXiv (Cornell University)|2022. 11. 02.

Robot Manipulation and Learning인용 수 8

한 줄 요약

이 논문은 간단한 평행 클램프를 사용하여 환경(예: 벽과 테이블)을 활용해 물체를 재배치함으로써 '막힘 있는 집기'를 달성할 수 있는 강화학습(RL) 기반 시스템을 제안한다. 도메인 랜덤라이제이션을 자동으로 적용한 시뮬레이션에서 훈련된 정책은 작업 전용 프리미티브나 접촉 보상 항목 없이 다양한 물체에서 실제 로봇에서 78%의 성공률을 기록하며, 제로샷 시뮬레이션에서 실제 환경으로의 전이와 강건한 일반화 능력을 입증한다.

ABSTRACT

A simple gripper can solve more complex manipulation tasks if it can utilize the external environment such as pushing the object against the table or a vertical wall, known as "Extrinsic Dexterity." Previous work in extrinsic dexterity usually has careful assumptions about contacts which impose restrictions on robot design, robot motions, and the variations of the physical parameters. In this work, we develop a system based on reinforcement learning (RL) to address these limitations. We study the task of "Occluded Grasping" which aims to grasp the object in configurations that are initially occluded; the robot needs to move the object into a configuration from which these grasps can be achieved. We present a system with model-free RL that successfully achieves this task using a simple gripper with extrinsic dexterity. The policy learns emergent behaviors of pushing the object against the wall to rotate and then grasp it without additional reward terms on extrinsic dexterity. We discuss important components of the system including the design of the RL problem, multi-grasp training and selection, and policy generalization with automatic curriculum. Most importantly, the policy trained in simulation is zero-shot transferred to a physical robot. It demonstrates dynamic and contact-rich motions with a simple gripper that generalizes across objects with various size, density, surface friction, and shape with a 78% success rate. Videos can be found at https://sites.google.com/view/grasp-ungraspable/.

연구 동기 및 목표

• 환경 상호작용을 활용하여 단순 클램프가 복잡한 조작 작업(예: 막힘 있는 집기)을 수행할 수 있도록 하는 것.
• 이전의 외부 기민성 방법이 수동으로 설계된 운동, 접촉 가정, 특정 클램프 설계에 의존하는 한계를 극복하는 것.
• 모델 프리(RL)를 사용하여 외부 기민성에 대한 명시적 보상 조정 없이도 잠재적인 행동이 나타나는 일반화 가능한, 접촉이 풍부한 정책을 개발하는 것.
• 실제 로봇에서 접촉이 풍부하고 동적인 조작 작업에 대해 강건한 제로샷 시뮬레이션에서 실제 환경으로의 전이를 달성하는 것.
• 크기, 모양, 밀도, 표면 마찰 계수 등이 다른 물체들 사이에서의 일반화 능력을 입증하는 것.

제안 방법

• 간단한 평행 클램프를 사용하여 막힘 있는 집기 작업을 해결하기 위해 시뮬레이션에서 모델 프리 딥 강화학습 정책을 훈련한다.
• 계획 단계와 제어 단계를 분리하지 않고도 전조작 운동과 집기 동작을 최적화하는 보상 함수를 사용한다.
• 다중 집기 훈련 커리큘럼과 추론 시의 집기 선택 절차를 통해 정책의 강건성과 성공률을 향상시킨다.
• 물리적 매개변수(예: 질량, 마찰 계수)에 대해 자동 도메인 랜덤라이제이션(ADR)을 적용하여 실제 세계의 변동성과 접촉 역학에 대한 강건성을 향상시킨다.
• 유연한 저수준 제어기가 환경과의 안정적인 상호작용을 가능하게 하여 잠재적인 외부 기민성 행동을 지원한다.
• 정책은 미세조정 없이 실제 로봇으로 제로샷 전이가 가능하며, 도메인 랜덤라이제이션을 통해 시뮬레이션에서 실제 환경으로의 일반화를 달성한다.

실험 결과

연구 질문

• RQ1 작은 클램프가 작업 전용 프리미티브나 접촉 가정 없이 외부 기민성을 활용하여 막힘 있는 집기를 수행할 수 있는가?
• RQ2 모델 프리 RL이 벽 밀기나 물체 회전과 같은 잠재적인 접촉이 풍부한 조작 행동을 얼마나 효과적으로 학습할 수 있는가?
• RQ3 박스 형태의 물체에서 훈련된 정책이 실제 세계에서 새로운, 분포 외의 형태의 물체로 일반화되는 정도는 어느 정도인가?
• RQ4 자동 도메인 랜덤라이제이션은 접촉이 풍부한 정책에 대해 제로샷 시뮬레이션에서 실제 환경으로의 전이를 어떻게 지원하는가?
• RQ5 명시적인 외부 기민성 보상 조정 없이도 상태에 따라 다양한 전략(예: 떨어뜨리기 vs. 서 있는 방식)을 전환할 수 있는 단일 정책이 학습될 수 있는가?

주요 결과

• 자동 도메인 랜덤라이제이션(ADR)을 적용한 정책은 실제 로봇에서 78%의 성공률을 기록했고, ADR 없이 훈련한 경우는 33%에 그쳐 ADR가 강건성에 핵심적인 역할을 한다는 것을 입증한다.
• 외부 기민성에 대한 명시적 보상 없이도 벽에 물체를 밀어 재정렬하여 집기하기 위한 동적인 접촉이 풍부한 행동을 성공적으로 수행했다.
• 훈련 분포를 초월한 물체들(병, 용기, 장난감 봉지 등)으로 일반화되었으며, 병에서는 8/10의 성공률, 뒤집힌 초기 자세로도 용기에서는 10/10의 성공률 기록.
• 명시적으로 어느 전략에도 훈련하지 않은 상태에서 잠재적인 행동(떨어뜨리기 vs. 서 있는 방식 전환)을 상태에 따라 자율적으로 수행함을 입증했다.
• 동일한 정책을 미세조정 없이 실제 로봇에 그대로 적용함으로써 제로샷 시뮬레이션에서 실제 환경으로의 전이가 성공했으며, 도메인 랜덤라이제이션의 효과성을 검증했다.
• 질량(128g에서 345g), 모양, 표면 마찰 계수 등이 다른 물체들에서도 높은 성공률(78%)을 유지하여 강력한 일반화 능력을 확인했다.