[논문 리뷰] A System for General In-Hand Object Re-Orientation

Tao Chen, Jie Xu외 1명|arXiv (Cornell University)|2021. 11. 04.

Robot Manipulation and Learning인용 수 7

한 줄 요약

이 논문은 교사-학생 소양화 접근 방식을 사용하여 일반적인 손 안의 물체 재정렬을 위한 모델 프리 강화학습 프레임워크를 제안한다. 이는 2,000개 이상의 다양한 물체 형태에 대해 높은 성능의 제로샷 전이를 가능하게 하며, 물체 형태 정보를 요구하지 않음에도 불구하고 상향 및 하향 손 구성 모두에서 견고한 재정렬을 달성한다. 이는 소양화와 도메인 랜덤라이제이션을 통해 실제 환경 구현 가능성을 입증한다.

ABSTRACT

In-hand object reorientation has been a challenging problem in robotics due to high dimensional actuation space and the frequent change in contact state between the fingers and the objects. We present a simple model-free framework that can learn to reorient objects with both the hand facing upwards and downwards. We demonstrate the capability of reorienting over 2000 geometrically different objects in both cases. The learned policies show strong zero-shot transfer performance on new objects. We provide evidence that these policies are amenable to real-world operation by distilling them to use observations easily available in the real world. The videos of the learned policies are available at: https://taochenshh.github.io/projects/in-hand-reorientation.

연구 동기 및 목표

• 최소한의 사전 지식을 바탕으로 다양한 물체 기하학적 형태에 대한 일반적인 손 안의 물체 재정렬 문제를 해결한다.
• 테이블 지지가 있거나 없을 경우를 포함해 상향 및 하향 손 구성 모두에서의 조작을 가능하게 한다.
• 실제 로봇 공학에서 쉽게 확보 가능한 RGBD 관측치와 관절 위치만을 사용하여 시스템을 운영한다.
• 명시적인 형태 감시 없이도 새로운, 볼 수 없는 물체 형태에 대해 강력한 제로샷 일반화를 달성한다.
• 소양화를 통해 특권 정책 지식을 실제 환경에 적합한 정책으로 전달하여 실제 구현 가능성을 입증한다.

제안 방법

• 모델 프리 딥 강화학습을 사용하며, 특권 상태 정보(예: 물체 속도)를 갖춘 교사 정책을, 실제 환경 센서 입력만을 사용하는 학생 정책으로 소양화하는 교사-학생 학습 프레임워크를 적용한다.
• 훈련 중 중력 강도를 조절하여 점진적으로 난이도를 높이는 중력 커리큘럼을 구현하여 샘플 효율성과 안정성을 향상시킨다.
• 하향 손 조작은 본질적으로 불안정하므로, 안정적인 물체 초기화를 위해 사전 훈련된 들어 올리는 정책을 사용하여 일관된 시작 상태를 확보한다.
• 물체 모델, 접촉 역학, 복잡한 사전 처리에 의존하지 않고, 원시 포인트 클라우드 관측치와 관절 위치를 입력으로 사용한다.
• 훈련 중 도메인 랜덤라이제이션을 적용하여 센서 노이즈 및 분포 이탈에 대한 내성을 향상시키고, 실제 환경 설정으로의 전이를 가능하게 한다.
• 기하학적으로 상이한 2,000개 이상의 물체에 대해 단일 정책을 훈련하여 형태 무관 제어 전략을 입증한다.

실험 결과

연구 질문

• RQ1 단일 형태 무관 정책이 상향 및 하향 손 구성 모두에서 기하학적으로 다양성이 큰 대상의 재정렬에 일반화될 수 있는가?
• RQ2 물체 형태나 물리 모델 정보에 접근할 수 없는 상황에서 모델 프리 강화학습이 높은 성공률을 달성할 수 있는가?
• RQ3 특권 정보를 갖춘 정책을 실제 환경에 적합한 정책으로 전이하기 위해 교사-학생 소양화가 얼마나 효과적인가?
• RQ4 중력 커리큘럼이 불안정한 하향 손 조작 작업에서 학습 효율성과 성능 향상에 중대한 기여를 하는가?
• RQ5 도메인 랜덤라이제이션과 토크 분석을 통해 학습된 정책을 실제 로봇 손에 구현할 수 있는가의 가능성을 검증할 수 있는가?

주요 결과

• 시스템은 상하향 손 구성 모두에서 2,000개 이상의 기하학적으로 상이한 물체를 성공적으로 재정렬하였으며, 테이블 지지 유무에 관계없이 적용 가능하다.
• 훈련 시 형태 정보가 제공되지 않더라도, 새로운 볼 수 없는 물체 형태에 대해 강력한 제로샷 일반화를 달성한다.
• 형태 인식이 이러한 작업에 필수적이라는 가정을 도전하며, 형태 무관 제어가 고성능 손 안 재정렬을 위한 충분한 조건임을 입증한다.
• 실제 환경 센서 입력만을 사용해 훈련된 소양화된 학생 정책는 도메인 랜덤라이제이션과 토크 분석을 통해 실제 환경 구현 가능성이 높은 것으로 확인되었다.
• 중력 커리큘럼과 들어 올리는 정책를 통한 안정적 초기화가 어려운 하향 손 구성에서 높은 성능을 달성하는 데 핵심적이다.
• 피크 토크 분석을 통해 생성된 제어 명령어가 실제 로봇 손의 구현 가능한 작동 한계 내에 있음을 확인하여 실제 환경 전이 가능성을 뒷받침한다.