[논문 리뷰] Self6D: Self-Supervised Monocular 6D Object Pose Estimation

Gu Wang, Fabian Manhardt외 4명|arXiv (Cornell University)|2020. 04. 14.

Robot Manipulation and Learning참고 문헌 18인용 수 9

한 줄 요약

Self6D는 실존하는 6D 자세 애너테이션의 필요성을 제거하기 위해 레이블이 없는 실존 RGB-D 데이터를 활용함으로써, 단일 카메라 6D 객체 자세 추정을 위한 최초의 자기지도 학습 방법을 제안한다. 알려진 6D 자세를 가진 대규모 합성 RGB 데이터에서 사전 훈련한 후, 가시성과 기하학적 일致성을 확보하기 위해 미분 가능 렌더링을 사용하는 신경 렌더링 기반 자기지도 학습을 통해 실세계 벤치마크에서 최신 기술 수준의 성능을 달성하며, 일부 경우에서는 실존 애너테이션으로 훈련된 방법을 능가한다.

ABSTRACT

6D object pose estimation is a fundamental problem in computer vision. Convolutional Neural Networks (CNNs) have recently proven to be capable of predicting reliable 6D pose estimates even from monocular images. Nonetheless, CNNs are identified as being extremely data-driven, and acquiring adequate annotations is oftentimes very time-consuming and labor intensive. To overcome this shortcoming, we propose the idea of monocular 6D pose estimation by means of self-supervised learning, removing the need for real annotations. After training our proposed network fully supervised with synthetic RGB data, we leverage recent advances in neural rendering to further self-supervise the model on unannotated real RGB-D data, seeking for a visually and geometrically optimal alignment. Extensive evaluations demonstrate that our proposed self-supervision is able to significantly enhance the model's original performance, outperforming all other methods relying on synthetic data or employing elaborate techniques from the domain adaptation realm.

연구 동기 및 목표

• 단일 카메라 6D 객체 자세 추정을 위한 실존 6D 자세 애너테이션 확보의 높은 비용과 난이도를 해결하기 위해.
• 도메인 적응 기술이나 실존 애너테이션에 의존하지 않고도 합성 데이터와 실존 데이터 간의 도메인 갭을 해소하기 위해.
• 가능한 한 다양한 시각적 및 기하학적 일치를 통해 실존 RGB-D 데이터에서 레이블이 없는 데이터를 활용한 자기지도 학습을 가능하게 하기 위해.
• 사전 훈련된 모델이 실존 이미지에서 시각적 및 기하학적 일치만을 사용하여 일반화 성능을 향상시키기 위해.

제안 방법

• 알려진 6D 자세를 가진 대규모 합성 RGB 데이터에서 완전히 지도 학습을 통해 6D 자세 추정 네트워크를 사전 훈련한다.
• 가능한 한 레이블이 없는 실존 RGB-D 데이터에서, 가역적 신경 렌더러를 사용해 입력 이미지를 재구성함으로써 자기지도 학습을 적용한다.
• 예측된 3D 경계상자(박스)를 추정된 6D 자세에서 렌더링하고, 이를 입력 이미지와 비교함으로써 기하학적 일치를 강제한다.
• 픽셀 수준의 재구성 손실과 기하학적 일치 손실을 조합한 다중 구성 요소 손실을 최적화하여 네트워크를 학습시킨다.
• 렌더링 과정을 통해 기울기 역전파를 수행하기 위해, 가역적 레이스터라이제이션과 같은 가역적 렌더링 기법을 활용한다.
• 3D 객체 모델과 예측된 6D 자세를 조합하여 가역적 이미지 재구성 결과를 생성하는 신경 렌더링 파이프라인을 사용한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 실존 RGB-D 데이터에서 자기지도 학습이 6D 자세 추정 성능을 크게 향상시킬 수 있는가? 이 경우 6D 자세 애너테이션이 필요하지 않은가?
• RQ2 가역적 신경 렌더링을 얼마나 효과적으로 활용하여 자기지도 학습에서 시각적 및 기하학적 일치를 강제로 구현할 수 있는가?
• RQ3 합성 데이터에서 사전 훈련된 모델이 실존 데이터에서 뿐만 아니라 RGB-D 입력만을 사용해 자기지도 학습을 거치면 성능이 어떻게 향상되는가?
• RQ4 신경 렌더링 기반 자기지도 학습이 기존의 도메인 적응 또는 무작위화 기법보다 합성 데이터와 실존 데이터 간의 도메인 갭을 더 효과적으로 해소할 수 있는가?

주요 결과

• Self6D는 실존 애너테이션이 없는 모든 최신 기술 수준의 방법보다 뛰어나며, 실존 데이터의 40%만을 사용해 HomebrewedDB에서 평균 평균 재현율(mAR)을 31%에서 71%로 향상시켰다.
• LineMOD Occlusion 데이터셋에서 Self6D는 평균 평균 재현율 32.1%를 기록했으며, CDPN(20.8%)과 DPOD(6.3%)를 모두 능가했다. 이는 합성 데이터에서만 훈련하고 실존 데이터에서 자기지도 학습을 거친 결과이다.
• Cropped LineMOD 벤치마크에서 Self6D는 평균 각도 오차를 19.8°에서 15.8°로 감소시켰으며, PixelDA와 DeceptionNet과 같은 도메인 적응 방법을 능가했다.
• 모델은 거의 최신 기술 수준의 성능을 달성했으며, LineMOD Occlusion에서 mAR 70.2%를 기록했고, 완전히 지도 학습된 Self6D-UB 모델(74% mAR)에 매우 가까운 성능을 보였다. 이는 강력한 일반화 능력을 보여준다.
• 이 방법은 높은 데이터 효율성을 보였다: 실존 이미지 150장(전체 데이터의 15%)만을 사용해 mAR가 31%에서 거의 60%로 상승했으며, 소량의 실존 데이터로도 빠르게 성능 향상가능성을 시사한다.