[논문 리뷰] Category Level Object Pose Estimation via Neural Analysis-by-Synthesis

Chen Xu, Zijian Dong외 3명|arXiv (Cornell University)|2020. 01. 01.

Advanced Vision and Imaging참고 문헌 57인용 수 3

한 줄 요약

이 논문은 개별 객체 인스턴스용 CAD 모델이 필요 없이 카테고리 수준의 6DoF 객체 자세 추정을 위한 신경망 분석-합성 프레임워크를 제안한다. 자세, 형태, 외관 코드에 조건부로 이미지를 생성하는 미분 가능한 신경망 이미지 합성 네트워크를 훈련시켜, 시각적 손실을 통해 기반으로 하여 이들 매개변수를 기울기 기반 최적화할 수 있도록 하였으며, RGB 전용 및 RGB-D 기준에서 최신 기술 수준의 정확도를 달성하였다.

ABSTRACT

Many object pose estimation algorithms rely on the analysis-by-synthesis framework which requires explicit representations of individual object instances. In this paper we combine a gradient-based fitting procedure with a parametric neural image synthesis module that is capable of implicitly representing the appearance, shape and pose of entire object categories, thus rendering the need for explicit CAD models per object instance unnecessary. The image synthesis network is designed to efficiently span the pose configuration space so that model capacity can be used to capture the shape and local appearance (i.e., texture) variations jointly. At inference time the synthesized images are compared to the target via an appearance based loss and the error signal is backpropagated through the network to the input parameters. Keeping the network parameters fixed, this allows for iterative optimization of the object pose, shape and appearance in a joint manner and we experimentally show that the method can recover orientation of objects with high accuracy from 2D images alone. When provided with depth measurements, to overcome scale ambiguities, the method can accurately recover the full 6DOF pose successfully.

연구 동기 및 목표

• 각 객체 인스턴스에 대해 명시적인 3D CAD 모델이 필요로 하는 기존 6DoF 자세 추정 방법의 한계를 해결한다.
• 테스트 시점에 개별 인스턴스 모델에 접근할 수 없더라도 단일 RGB 또는 RGB-D 이미지만으로 정확한 카테고리 수준의 자세 추정을 가능하게 한다.
• 전체 객체 카테고리에 걸쳐 형태, 외관, 자세 변형을 암묵적으로 표현할 수 있는 신경망 이미지 합성 모듈을 개발한다.
• 신경망 합성 모듈을 기울기 기반 최적화 프레임워크에 통합하여 자세, 형태, 외관 매개변수를 동시에 회복한다.
• 훈련 중 데이터 증강 없이도 조명, 부분 가림, 검출 오류 등의 도메인 이탈 요인에 대해 강건성을 보여준다.

제안 방법

• 3D 자세, 형태 코드, 외관 코드에 조건부로 객체 카테고리의 2D 이미지를 합성하는 딥 네트워크를 훈련한다.
• 3D 바이오닉 볼륨을 사용하는 3D 조건부 VAE를 통해 형태와 자세 공간을 모델링하여 연속적이고 효율적인 자세 설정 탐색을 가능하게 한다.
• 입력 이미지에서 추출한 학습된 잠재 코드를 기반으로 이미지 생성을 조건화한다.
• 고정된 네트워크를 통해 시각적 손실 기울기 역전파를 수행하여 자세, 형태, 외관 매개변수를 반복적으로 최적화한다.
• 사전 훈련된 VGG 네트워크의 특징을 기반으로 한 시각적 손실을 활용하여 픽셀 수준의 유사성보다 의미적 일치를 장려한다.
• RGB-D 환경에서는 깊이 측정치를 통합하여 스케일 모호성을 해결하고 완전한 6DoF 자세(3D 이동 및 3D 회전)를 복원한다.

실험 결과

연구 질문

• RQ1 신경망 이미지 합성 모듈이 명시적인 CAD 모델이 없이도 형태, 외관, 자세 변형을 통합적으로 암묵적으로 표현할 수 있는가?
• RQ2 미분 가능한 신경망 렌더러를 통한 기울기 기반 최적화가 단일 RGB 또는 RGB-D 이미지로부터 정확한 6DoF 자세 추정을 가능하게 하는가?
• RQ3 자세 정확도 및 강건성 측면에서 최신 기술 수준의 RGB 전용 및 RGB-D 기준선 대비 이 방법의 성능은 어떠한가?
• RQ4 이 방법은 조명, 부분 가림, 검출 오류 등의 도메인 이탈 요인에 대해 얼마나 잘 일반화되는가?
• RQ5 다양한 손실 함수(예: 시각적 손실, L1, L2, SSIM)와 정규화가 최적화 안정성과 최종 자세 정확도에 미치는 영향은 어떠한가?

주요 결과

• RGB 이미지만을 사용하여 YCB 데이터셋에서 97.1%의 AP60을 달성하였으며, 일부 경우에서 강력한 RGB-D 기준선을 초월하였다.
• RGB-D 입력을 사용할 경우 스케일 모호성이 존재하는 RGB 전용 추정에서의 한계를 해결하고 완전한 6DoF 자세를 정확히 복원하였다.
• 시각적 손실이 L1, L2, SSIM 손실보다 우수하여 가장 높은 AP60(97.1%)과 가장 낮은 회전 오차를 기록하였으며, 이는 더 나은 의미적 일치 덕분이었다.
• 제거 실험 결과 VAE나 3D 볼륨을 제거할 경우 새로운 샘플 생성에 실패하거나 자세 정확도가 떨어지므로 이들의 필수성은 명백히 드러났다.
• 데이터 증강 없이도 조명, 부분 가림, 검출 오류 등의 도메인 이탈 상황에서도 낮은 오차를 유지하여 강력한 일반화 능력을 입증하였다.
• 형태와 외관의 생성 모델링 덕분에 특히 도전적인 조건에서 분류 기반 자세 회귀 기준선보다도 크게 뛰어난 성능을 보였다.