[논문 리뷰] Visual Dexterity: In-Hand Reorientation of Novel and Complex Object Shapes

Tao Chen, Megha Tippur외 4명|arXiv (Cornell University)|2022. 11. 21.

Robot Manipulation and Learning인용 수 7

한 줄 요약

이 논문은 단일 일반형 깊이 카메라를 사용하여 복잡하고 새로운 물체 형상에 대해 실시간으로 일반적인 손 안에서 재정렬하는 제어기를 제시한다. 도메인 랜덤라이제이션과 시스템 식별을 통해 시뮬레이션에서 강화학습으로 훈련되었으며, 중앙값 재정렬 시간이 약 7초 내외로 나타나고, 예측할 수 없는 물체, 중력에 의해 영향을 받는 아래를 향한 손 구성에 대해서도 일반화된다.

ABSTRACT

In-hand object reorientation is necessary for performing many dexterous manipulation tasks, such as tool use in less structured environments that remain beyond the reach of current robots. Prior works built reorientation systems assuming one or many of the following: reorienting only specific objects with simple shapes, limited range of reorientation, slow or quasistatic manipulation, simulation-only results, the need for specialized and costly sensor suites, and other constraints which make the system infeasible for real-world deployment. We present a general object reorientation controller that does not make these assumptions. It uses readings from a single commodity depth camera to dynamically reorient complex and new object shapes by any rotation in real-time, with the median reorientation time being close to seven seconds. The controller is trained using reinforcement learning in simulation and evaluated in the real world on new object shapes not used for training, including the most challenging scenario of reorienting objects held in the air by a downward-facing hand that must counteract gravity during reorientation. Our hardware platform only uses open-source components that cost less than five thousand dollars. Although we demonstrate the ability to overcome assumptions in prior work, there is ample scope for improving absolute performance. For instance, the challenging duck-shaped object not used for training was dropped in 56 percent of the trials. When it was not dropped, our controller reoriented the object within 0.4 radians (23 degrees) 75 percent of the time. Videos are available at: https://taochenshh.github.io/projects/visual-dexterity.

연구 동기 및 목표

• 훈련 중에 사전 지식이 없는 복잡하고 새로운 물체 형상에 대해 일반화되는 실세계 적용 가능한 손 안에서 재정렬 시스템을 개발하기 위해.
• 이전 연구의 한계를 극복하기 위해, 특정 물체 형상에 의존하거나, 준정적 조작, 상향을 향한 손 구성, 또는 전용 센서에 의존하지 않기 위해.
• 단일 일반형 깊이 카메라와 오픈소스 하드웨어만을 사용하여 실시간으로 동적 재정렬을 가능하게 하기 위해.
• 체계적인 도메인 랜덤라이제이션과 역학 식별을 통해 시뮬레이션에서 실제 세계로의 전이 갭을 최소화하여 실세계 구현의 강건성을 확보하기 위해.
• 중력에 의해 영향을 받는 상황에서 아래를 향한 손으로 물체를 들고 있는 도전적인 시나리오, 예를 들어 물체를 공중에서 들고 재정렬하는 데 성능을 입증하기 위해.

제안 방법

• 공간적 동역학 파rameter를 CMA-ES 최적화를 통해 관절 궤적 유사도 기반으로 식별한 시뮬레이션 로봇을 사용하여, 시뮬레이션에서 딥 강화학습 정책을 훈련시켰다.
• 입력으로 깊이 이미지만 사용함으로써 시뮬레이션과 현실 간 유사성을 높여 시뮬레이션-실세계 전이 갭을 감소시켰다. RGB보다 깊이 이미지가 현실과 더 유사하기 때문이다.
• 물체 및 환경 역학에 대한 도메인 랜덤라이제이션을 적용하여, 훈련 중 무작위 힘을 적용함으로써 실제 세계의 외란에 대한 강건성을 향상시켰다.
• 부드러운 팁을 사용하여 유연성을 향상시키고 오버슈트를 줄여 제어 오류에 대한 강건성을 향상시켰다.
• 정책 네트워크에서 추출한 특징을 사용하여 학습된 정지 기준을 구현하여, 각도 오차와 동작 크기가 임계값 이하일 때 종료 신호를 발생시켰다.
• 실세계 관절 궤적을 시뮬레이션 파rameter 조정을 통해 일치시키기 위해 블랙박스 CMA-ES 최적화를 사용하여 로봇 역학의 시스템 식별을 수행했다.

실험 결과

연구 질문

• RQ1 훈련 중에 볼 수 없었던 새로운 복잡한 물체 형상에 대해 단일 깊이 카메라 기반 제어기가 일반화되는가?
• RQ2 실세계에서의 성공적인 구현을 위해 특수 센서나 하드웨어 없이, 시뮬레이션에서 실시간 재정렬 정책을 훈련시켜 실제 세계에 배포할 수 있는가?
• RQ3 중력에 의해 영향을 받는 도전적인 구성, 예를 들어 중력에 대비해 활성 제어가 필요한 아래를 향한 손으로 물체를 들고 재정렬하는 데에 제어기가 얼마나 효과적인가?
• RQ4 도메인 랜덤라이제이션과 시스템 식별이 다재다능한 조작에서 시뮬레이션-실세계 전이 갭을 어느 정도 감소시키는가?
• RQ5 복잡한 기하학적 형상을 가진 새로운 물체에 대해 제어기의 재정렬 시간과 정확도 측면에서의 성능은 어떠한가?

주요 결과

• 실세계 구현에서 복잡하고 새로운 물체 형상에 대해 제어기가 중앙값 재정렬 시간 약 7초를 달성했다.
• 훈련 중에 사용되지 않은 오리 모양의 물체에 대해 실험의 56%에서 물체가 떨어졌지만, 떨어지지 않은 경우 75%의 경우에서 목표 각도와 0.4라디안(23도) 이내로 재정렬되었다.
• 단일 일반형 깊이 카메라와 5,000달러 이하의 오픈소스 하드웨어만을 사용하여 다양한 예측 불가능한 물체 형상을 성공적으로 재정렬했다.
• 도메인 랜덤라이제이션과 시스템 식별의 사용으로 시뮬레이션-실세계 전이 갭이 크게 감소하였으며, 정밀 조정 없이도 실세계 구현이 가능했다.
• 학습된 정지 기준은 각도 오차와 동작 크기가 충분히 작아질 때 효과적으로 동작을 종료시켜 효율성과 안전성을 향상시켰다.
• 중력에 의해 영향을 받는 아래를 향한 손 구성에서도 제어기가 강건성을 유지했으며, 실세계 도구 사용 응용 분야의 가능성을 입증했다.