[논문 리뷰] Self-supervised 6D Object Pose Estimation for Robot Manipulation

Xinke Deng, Xiang Yu외 4명|arXiv (Cornell University)|2019. 09. 23.

Robot Manipulation and Learning참고 문헌 40인용 수 14

한 줄 요약

이 논문은 로봇 조작를 위한 자기지도 학습 6차원 물체 자세 추정 시스템을 제안한다. 이 시스템은 능동 시각과 로봇 상호작용을 활용하여 신경망의 미세조정을 위한 정확한 실세계 자세 레이블 데이터를 생성한다. RGB-D 카메라 피드백과 로봇에 의한 환경 변화를 활용함으로써, 분할 및 자세 추정 정확도가 향상되어, 손잡이 성공률이 46.7%에서 86.7%로 상승하고, 합성 데이터만으로 학습하는 것에 비해 초기화 시간이 55.3% 감소한다.

ABSTRACT

To teach robots skills, it is crucial to obtain data with supervision. Since annotating real world data is time-consuming and expensive, enabling robots to learn in a self-supervised way is important. In this work, we introduce a robot system for self-supervised 6D object pose estimation. Starting from modules trained in simulation, our system is able to label real world images with accurate 6D object poses for self-supervised learning. In addition, the robot interacts with objects in the environment to change the object configuration by grasping or pushing objects. In this way, our system is able to continuously collect data and improve its pose estimation modules. We show that the self-supervised learning improves object segmentation and 6D pose estimation performance, and consequently enables the system to grasp objects more reliably. A video showing the experiments can be found at https://youtu.be/W1Y0Mmh1Gd8.

연구 동기 및 목표

• 로봇 조작을 위한 6차원 물체 자세 추정에서 합성 데이터와 실세계 데이터 간의 도메인 갭을 해결하기 위해.
• 손잡이 및 밀기와 같은 로봇 상호작용을 통해 지속적인 자기지도 학습 데이터 수집을 가능하게 하기 위해.
• 자기 레이블링된 실세계 데이터를 통해 6차원 물체 자세 추정 및 의미 분할 정확도를 향상시키기 위해.
• 미세조정된 자세 추정 네트워크를 활용해 모델 기반 손잡이 성능을 향상시키기 위해.
• 지속적인 데이터 수집을 통해 반복적으로 자세 추정을 향상시켜 장기적 학습을 달성하기 위해.

제안 방법

• 로봇 조작자에 RGB-D 카메라를 장착하여 작업 영역 내 물체의 다중 시점 영상을 촬영한다.
• 전진 운동학을 운동 전조로 사용하는 입자 필터를 통해 6차원 물체 자세를 초기화하여 시점 간 정확한 추적을 가능하게 한다.
• 시스템은 자기지도 학습 루프를 사용한다: 자세 추적 후 로봇이 물체를 잡거나 밀어 새로운 환경과 새로운 데이터를 생성한다.
• 자기 레이블링된 실사 이미지를 사용하여 사전 학습된 신경망을 의미 분할 및 6차원 자세 추정에 대해 미세조정한다.
• 초기 추정 이후 이격 및 회전 정확도를 향상시키기 위해 SDF 기반 자세 정밀화를 적용한다.
• RGB 이미지에 기반한 오토인코더를 사용하여 물체 형태를 재구성하고 자세 예측을 정밀화한다.

Figure 1: Our self-supervised learning process for robot manipulation.

실험 결과

연구 질문

• RQ1 로봇 시스템이 인간의 감독 없이 실세계 영상에 대해 정확한 6차원 자세 레이블을 자동으로 생성할 수 있는가?
• RQ2 로봇 상호작용을 통해 수집한 실세계 데이터를 이용한 자기지도 학습 미세조정이 6차원 자세 추정 및 분할 성능에 어떻게 기여하는가?
• RQ3 손잡이 또는 밀기를 통한 능동적 환경 재구성은 데이터 다양성과 모델 일반화에 어느 정도 기여하는가?
• RQ4 자기지도 학습이 혼잡한 실세계 환경에서 손잡이 성공률을 크게 향상시킬 수 있는가?
• RQ5 입자 필터에서 RGB만 사용하는 것과 RGB-D를 사용하는 것의 성능에 어떤 영향을 미치는가?

주요 결과

• 자기 레이블링된 실세계 영상을 사용해 의미 분할 네트워크를 미세조정함으로써 분할 정확도가 크게 향상되었으며, 특히 반사성과 같은 복잡한 재질을 가진 물체에서 두드러졌다.
• 오토인코더에 대한 자기지도 학습 미세조정은 더 나은 재구성 품질을 이끌어냈고, 이는 6차원 자세 추정 정확도 향상에 기여했다.
• 실세계 데이터를 사용해 미세조정한 결과, 손잡이 성공률이 합성 데이터만으로 학습하는 것에 비해 85.7%포인트 상승하여 86.7%를 기록했다.
• 평균 물체 초기화 시간은 자기지도 학습 미세조정 후 10.04초에서 4.48초로 55.3% 감소했다.
• 더 빠르고 정확한 자세 초기화 덕분에, 손잡이 시도당 총 시간이 21.27초에서 15.47초로 27.3% 감소했다.
• 놀랍게도, SDF 정밀화를 적용한 RGB-only 입자 필터가 RGB-D 버전을 초월했으며, 오토인코더가 RGB 데이터 전용으로 학습되었기 때문에 더 정확한 회전 추정이 가능했다.

Figure 2: Overview of our self-supervised 6D object pose estimation system.