[논문 리뷰] In-Hand Object Rotation via Rapid Motor Adaptation

Haozhi Qi, Ashish Kumar외 3명|arXiv (Cornell University)|2022. 10. 10.

Robot Manipulation and Learning인용 수 13

한 줄 요약

이 논문은 시뮬레이션으로 훈련된 자가감지 정보 전용 제어기를 제안하며, 실제 로봇 손이 실세계에서의 정밀 조정 없이 다양한 물체를 z축 기준으로 회전시킬 수 있도록 한다. 빠른 운동 적응을 통해 자가감지 이력으로부터 물체의 특성을 추정함으로써, 손끝 피드백만으로 크기, 질량, 형상이 다른 30개 이상의 물체에 대해 강건한 일반화 성능을 달성한다.

ABSTRACT

Generalized in-hand manipulation has long been an unsolved challenge of robotics. As a small step towards this grand goal, we demonstrate how to design and learn a simple adaptive controller to achieve in-hand object rotation using only fingertips. The controller is trained entirely in simulation on only cylindrical objects, which then - without any fine-tuning - can be directly deployed to a real robot hand to rotate dozens of objects with diverse sizes, shapes, and weights over the z-axis. This is achieved via rapid online adaptation of the controller to the object properties using only proprioception history. Furthermore, natural and stable finger gaits automatically emerge from training the control policy via reinforcement learning. Code and more videos are available at https://haozhi.io/hora

연구 동기 및 목표

• 실세계에서의 정밀 조정 없이 다양한 실세계 물체에 대해 일반화 가능한 손안에서의 물체 회전을 가능하게 하기 위해.
• 질량, 크기, 형상이 알려지지 않은 물체를 자가감지 피드백만으로 다루는 과제를 해결하기 위해.
• 자기감지 이력으로부터 저차원적이고 해석 가능한 물체 특성 표현이 자동으로 도출될 수 있는지 탐색하기 위해.
• 명시적인 설계 없이 강화학습을 통해 안정적이고 자연스러운 손가락 운동 패tern이 도출될 수 있는지 보여주기 위해.
• 순수하게 자가감지 적응이 훈련 중에 보지 않은 물체로의 일반화를 가능하게 하는지 검증하기 위해.

제안 방법

• 다양한 크기와 질량의 실린더형 물체만을 사용하여 시뮬레이션에서 강화학습 정책을 훈련한다.
• 손끝이 감지하는 질량, 크기, 형상 정보를 압축된 표현(외부 특성)으로 학습한다.
• 자기감지 이력으로부터 외부 특성 벡터를 추정하기 위해 지도학습을 통해 시뮬레이션에서 빠른 운동 적응 모듈을 훈련한다.
• 실세계 배포 중에 추정된 외부 특성을 사용해 제어 정책을 온라인으로 적응시킨다.
• 실시간 적응을 위해 시각이나 촉각 센서에 의존하지 않고 오직 자기감지 피드백(관절 위치 및 속도)만을 활용한다.
• t-SNE 시각화를 통해 추정된 외부 특성의 구조를 분석하고, 물리적 특성과 관련된 저차원적이고 해석 가능한 군집이 존재하는지 확인한다.

실험 결과

연구 질문

• RQ1 실린더형 물체만으로 훈련된 제어기가 자가감지 정보만으로 다양한 실세계 물체로 일반화 가능한가?
• RQ2 추정된 물체 특성(외부 특성)에 대한 빠른 온라인 적응이 다양한 질량과 형상에서 안정적인 손안 회전을 가능하게 하는가?
• RQ3 명시적인 운동 패턴 설계 없이 종단 간 강화학습에서 안정적이고 자연스러운 손가락 운동 패턴이 도출될 수 있는가?
• RQ4 추정된 외부 특성 벡터는 물체의 일반화를 지원하는 방식으로 구조적이고 해석 가능한가?
• RQ5 시각이나 촉각 피드백 없이 자가감지 이력만으로 얼마나 높은 수준의 적응이 가능할 수 있는가?

주요 결과

• 제어기는 실제 물체 30여 개를 성공적으로 회전시켰으며, 지름 4.5cm에서 7.5cm, 질량 5g에서 200g 사이의 범위에서 실세계에서의 정밀 조정 없이도 성능을 유지했다.
• t-SNE 공간에서 추정된 외부 특성 벡터는 명확한 군집을 보였으며, 다양한 물체의 크기와 질량에 따라 구분되는 영역을 형성하여 저차원적이고 해석 가능한 표현임을 시사했다.
• 외부 특성 벡터의 두 번째 차원과 물체 질량 사이에 강한 상관관계가 관찰되었으며, 경량 물체일수록 높은 값을 가졌다.
• 이 방법은 명시적인 설계 없이도 자연스럽게 안정적이고 높은 치수의 손가락 운동 패턴을 도출했으며, 구형 물체로 훈련한 정책와는 달리 불안정한 운동 패턴을 보이지 않았다.
• 실패 사례는 주로 잘못된 접촉 지점이나 매우 작은 물체(지름 < 4.0cm)에서 손가락 충돌로 인한 것으로, 접촉 피드백이 없을 경우 抓握 안정성에 한계가 있음을 시사했다.
• 비탄성 및 다공성 물체로의 일반화 성능도 입증되어, 훈련 분포를 초월한 재질과 형상 변화에 대한 강건성을 입증했다.