[논문 리뷰] General In-Hand Object Rotation with Vision and Touch

Haozhi Qi, Brent Yi외 5명|arXiv (Cornell University)|2023. 09. 18.

Tactile and Sensory Interactions인용 수 6

한 줄 요약

RotateIt는 다양한 축을 중심으로 일반화된 손끝 기반의 물체 회전을 가능하게 하는 시각 및 觸각을 보완한 강화학습 시스템입니다. 정확한 형상과 물리적 성질 정보를 갖춘 시뮬레이션 환경에서 훈련된 후, 이 지식을 시각-촉각 트랜스포머로 압축하여 노이즈가 많은 실제 환경의 시각적 및 촉각적 입력에서 물체 성질을 추론합니다. 이로써 훈련 중에 볼 수 없었던 다양한 실제 물체에 대해서도 피팅 튜닝 없이 안정적인 시뮬레이션에서 실제 환경으로의 전이를 달성합니다.

ABSTRACT

We introduce RotateIt, a system that enables fingertip-based object rotation along multiple axes by leveraging multimodal sensory inputs. Our system is trained in simulation, where it has access to ground-truth object shapes and physical properties. Then we distill it to operate on realistic yet noisy simulated visuotactile and proprioceptive sensory inputs. These multimodal inputs are fused via a visuotactile transformer, enabling online inference of object shapes and physical properties during deployment. We show significant performance improvements over prior methods and the importance of visual and tactile sensing.

연구 동기 및 목표

• 손끝 기반의 조작만을 사용하여 일반화 가능한 다축 손안에서 물체 회전을 가능하게 하기.
• 다중 감각 입력을 활용하여 정교한 조작에서의 시뮬레이션에서 실제 환경으로의 전이 과제를 해결하기.
• 실제 환경 배포에서 특권 정보에 대한 의존도를 줄이기 위해 시각과 촉각에서 물체 성질을 추론하도록 학습하기.
• 시각 및 촉각 감지가 복잡한 비구형 물체의 정확한 형상 이해와 안정된 조작에 필수적임을 입증하기.
• 재훈련이나 인간의 예시 없이 다양한 실제 물체에 일반화되는 시스템 개발하기.

제안 방법

• 정확한 물체 형상과 물리적 성질 표현(외부 매개변수)을 사용하여 시뮬레이션에서 오라클 정책을 훈련하여 다축 회전을 효율적으로 수행하기.
• 자기 인식, 시각(깊이), 촉각(접촉 위치) 입력의 시퀀스로부터 특권 외부 매개변수 인코딩 $\hat{\mathbf{z}}_t$ 를 추정하기 위해 시각-촉각 트랜스포머를 사용하기.
• 오라클 정책을 실세계 정책으로 압축하기 위해, $\mathbf{z}_t$ 와 $\hat{\mathbf{z}}_t$ 사이의 회귀 손실을 최소화하도록 시각-촉각 트랜스포머를 훈련하기.
• 혼잡한 실제 환경 장면에서 물체의 전경 분할을 위해 Segment Anything 사용하기.
• 오목한 시각 기반 觸각 센서에서 얻은 촉각 이미지와 실시간 추론을 활용하여, 압축된 정책을 직접 실제 세계에 배포하기.
• 단일 축 오라클에서의 애널로그 학습과 공유된 보상 함수를 함께 사용하여 다축 정책을 동시에 훈련하여 다양한 축으로의 일반화 가능하게 하기.

Figure 1: Rotation over multiple axes by integrating proprioception, vision, and touch sensing. RotateIt is trained in simulation and deployed directly to the real-world, where it generalizes to diverse test objects without the need for fine-tuning. Please see our website for more videos.

실험 결과

연구 질문

• RQ1 시각과 촉각을 보완한 정책이 피팅 튜닝 없이 실제 세계에서 여러 축을 중심으로 안정적이고 일반화 가능한 손안에서의 물체 회전을 달성할 수 있는가?
• RQ2 실제 세계 조작 과정에서 시각과 촉각 감지가 물체 형상과 물리적 성질 추론에 어떻게 기여하는가?
• RQ3 다중 감각 융합이 정교한 손안 조작에서의 시뮬레이션에서 실제 환경으로의 전이 성능에 어떤 영향을 미치는가?
• RQ4 단일 다축 정책이 다양한 축으로의 일반화를 달성할 수 있으며, 작업별 단일 축 정책과 비교해도 유사한 성능을 보일 수 있는가?
• RQ5 특권 정보가 없는 상황에서 정책 성능에 어떤 영향을 미치며, 시각과 촉각이 이를 보완할 수 있는가?

주요 결과

• RotateIt는 훈련 중에 볼 수 없었던 다양한 실제 물체(박스, 구형체, 실린더, 비정형 형태 등)에서 20초 이내에 다축 손안 회전(최대 $2\pi$ 라디안)을 성공적으로 수행하며 피팅 튜닝 없이도 작동합니다.
• 실제 세계의 물리 법칙과 물체 기하학이 시뮬레이션과 다를 경우에도 안정적인 시뮬레이션에서 실제 환경으로의 전이를 달성하여 강력한 일반화 능력을 입증합니다.
• 시각과 촉각을 제외한 정책는 안정성을 유지하지 못하고 회전 작업을 완료하지 못하며, 다중 감각 감지의 핵심적 역할을 확인합니다.
• 시각-촉각 트랜스포머는 노이즈가 많은 감각 입력에서 물체 성질을 정확하게 추론할 수 있으며, 애널로그 학습을 통해 훈련된 경우 단일 축 오라클과 유사한 성능을 보입니다.
• 압축된 다축 정책는 단일 축 오라클과 유사한 성능을 보입니다(예: 에피소드 회전 보상 105.21 ± 9.27 대비 110.19 ± 8.26), 효과적인 일반화를 확인합니다.
• 형상 이해는 시각과 촉각이 함께 있을 경우 크게 향상됩니다: 구형체나 상자형 물체는 자각 정보만으로도 구분 가능하지만, 배추 모양과 같은 비정형 형태의 물체는 추가적인 감각 입력이 필요합니다.

Figure 2: An overview of our training pipeline. Trainable components are highlighted in green. In oracle policy training, we jointly optimize the privileged encoder and control policy using PPO. In the visuotactile policy training, we feed a sequence of visuotactile and proprioceptive inputs to a tr