[논문 리뷰] Implicit 3D Orientation Learning for 6D Object Detection from RGB Images

Martin Sundermeyer, Zoltán-Csaba Márton외 3명|arXiv (Cornell University)|2019. 02. 04.

Advanced Neural Network Applications참고 문헌 38인용 수 5

한 줄 요약

이 논문은 도메인 랜덤라이제이션을 통해 3D 모델의 합성 RGB 뷰에서 훈련된 증강 오토인코더(AAE)를 사용하여 암묵적인 3D 자세 추정 방법을 제안한다. 이는 실제 자세 레이블이 부여된 데이터가 없이도 실시간 6D 객체 검출을 가능하게 한다. AAE는 잠재 공간에서 강건하고 대칭을 고려한 3D 자세 표현을 학습하며, T-LESS에서 최신 기술 수준(SOTA) 성능을 달성하고 LineMOD에서도 경쟁력 있는 성능을 보이며, 투영 보정과 ICP 정밀 조정을 통해 향상된다.

ABSTRACT

We propose a real-time RGB-based pipeline for object detection and 6D pose estimation. Our novel 3D orientation estimation is based on a variant of the Denoising Autoencoder that is trained on simulated views of a 3D model using Domain Randomization. This so-called Augmented Autoencoder has several advantages over existing methods: It does not require real, pose-annotated training data, generalizes to various test sensors and inherently handles object and view symmetries. Instead of learning an explicit mapping from input images to object poses, it provides an implicit representation of object orientations defined by samples in a latent space. Our pipeline achieves state-of-the-art performance on the T-LESS dataset both in the RGB and RGB-D domain. We also evaluate on the LineMOD dataset where we can compete with other synthetically trained approaches. We further increase performance by correcting 3D orientation estimates to account for perspective errors when the object deviates from the image center and show extended results.

연구 동기 및 목표

• 실제 자세 레이블이 부여된 훈련 데이터가 필요 없는 실시간 RGB 전용 6D 객체 검출 파이프라인을 개발하는 것.
• 객체의 대칭성, 부분 가림, 합성 이미지에서 실제 이미지로의 도메인 전이 문제를 해결하는 것.
• 명시적인 자세 회귀를 피하고 잠재 공간 내 암묵적 표현 학습을 통해 강건한 3D 자세 추정을 가능하게 하는 것.
• 투영 보정과 깊이 기반 ICP 정밀 조정을 통해 중심에서 벗어난 객체에 대한 정확도를 향상시키는 것.
• 임베디드 하드웨어에서 다양한 센서와 실제 환경 조명 조건에서도 일반화 성능을 입증하는 것.

제안 방법

• 3D 모델의 합성 RGB 이미지에 대해 잡음 제거 오토인코더의 변종인 증강 오토인코더(AAE)를 훈련하며, 색상, 기하학적 변형, 조명을 랜덤화한 증강 기법을 적용한다.
• 실제 환경의 다양성을 시뮬레이션하고 시뮬레이션에서 실제 환경으로의 도메인 갭을 줄이기 위해 훈련 중 도메인 랜덤라이제이션을 사용한다.
• SO(3)나 허니온을 명시적으로 매핑하지 않고도 3D 객체 자세를 암묵적으로 인코딩하는 잠재 공간 표현을 학습한다.
• 2D 객체 검출기(예: SSD)를 사용해 객체를 국소화하고 자르며, 이후 AAE 추론을 통해 3D 자세 추정을 수행한다.
• 객체가 이미지 평면에서 중심에서 벗어난 위치에 있을 경우, 깊이 스케일링 오차를 줄이기 위해 투영 보정을 적용하여 3D 이동 추정치를 정밀 조정한다.
• 깊이 데이터를 기반으로 반복 최소 제곱법(ICP)을 적용하여 6D 자세 추정치를 추가로 정밀 조정함으로써 RGB-D 입력에 대한 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 합성 3D 모델 뷰에서 훈련된 자기지도 학습 오토인코더가 실제 자세 레이블이 없는 환경에서도 강건한 3D 자세 추정을 달성할 수 있는가?
• RQ2 AAE는 실제 이미지와 다양한 센서에 대해 얼마나 잘 일반화되며, 특히 도메인 전이 상황에서 어떻게 작동하는가?
• RQ3 AAE의 암묵적 잠재 표현은 명시적인 대칭 모델링 없이도 대칭적인 객체 뷰를 자연스럽게 처리할 수 있는가?
• RQ4 투영 보정이 중심에서 벗어난 객체에 대해 6D 자세 정확도를 향상시키는가?
• RQ5 T-LESS 및 LineMOD과 같은 벤치마크 데이터셋에서 최신 기술 수준의 접근법과 비교해 본다면 이 방법은 어떻게 성능을 내는가?

주요 결과

• AAE는 RGB 및 RGB-D 설정 모두에서 T-LESS 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존의 합성 데이터 기반 훈련 방법을 능가한다.
• LineMOD 데이터셋에서는 RGB 전용 환경에서 경쟁력 있는 성능을 기록하며, ICP 정밀 조정 없이도 SSD6D를 능가한다.
• 투영 보정을 추가함으로써 중심에서 벗어난 객체에 대한 깊이 추정 오차가 크게 감소하여 전체 6D 자세 정확도가 향상된다.
• ICP 정밀 조정은 특히 가림 상황에서 이동 추정 정확도를 더욱 향상시키며, 자세 회전 추정치는 안정성을 유지한다.
• 시스템은 Jetson TX2에서 13 FPS 이상으로 실행되어 실시간 성능과 실제 환경 조명 및 센서 변형에 대한 강건성을 입증한다.
• 실제 실험 환경에서 제어된 실험실 환경 외부에서도 다양한 센서와 실제 조건에서 잘 일반화됨을 라이브 데모를 통해 검증하였다.