[논문 리뷰] NeMo: Neural Mesh Models of Contrastive Features for Robust 3D Pose Estimation

Angtian Wang, Adam Kortylewski외 1명|arXiv (Cornell University)|2021. 01. 29.

3D Shape Modeling and Analysis참고 문헌 37인용 수 14

한 줄 요약

NeMo는 3D 메시 위에서 대비 신경 특징 맵을 재구성함으로써 3D 객체 자세를 생성하는 신경 메시 모델을 제안한다. 기하학적 변형 가능 렌더링과 대비 학습을 통해 부분적인 가림과 새로운 시점에 대해 강건성을 확보한다. PASCAL3D+와 ObjectNet3D에서 표준 딥 네트워크를 능가하며, 세밀한 3D 형상이 아닌 굵은 큐보이드 기하 구조를 사용함에도 불구하고 정확한 3D 자세 추정이 가능함을 보여주며, 세밀한 3D 형태가 정확한 3D 자세 추정에 필수적인 것은 아님을 시사한다.

ABSTRACT

3D pose estimation is a challenging but important task in computer vision. In this work, we show that standard deep learning approaches to 3D pose estimation are not robust when objects are partially occluded or viewed from a previously unseen pose. Inspired by the robustness of generative vision models to partial occlusion, we propose to integrate deep neural networks with 3D generative representations of objects into a unified neural architecture that we term NeMo. In particular, NeMo learns a generative model of neural feature activations at each vertex on a dense 3D mesh. Using differentiable rendering we estimate the 3D object pose by minimizing the reconstruction error between NeMo and the feature representation of the target image. To avoid local optima in the reconstruction loss, we train the feature extractor to maximize the distance between the individual feature representations on the mesh using contrastive learning. Our extensive experiments on PASCAL3D+, occluded-PASCAL3D+ and ObjectNet3D show that NeMo is much more robust to partial occlusion and unseen pose compared to standard deep networks, while retaining competitive performance on regular data. Interestingly, our experiments also show that NeMo performs reasonably well even when the mesh representation only crudely approximates the true object geometry with a cuboid, hence revealing that the detailed 3D geometry is not needed for accurate 3D pose estimation. The code is publicly available at https://github.com/Angtian/NeMo.

연구 동기 및 목표

• 부분적인 가림과 새로운 자세에 대해 표준 딥 러닝 접근 방식의 강건성 부족 문제를 해결하기 위해.
• 3D 메시 위에서 자세를 분리하고 색상과 형태와 같은 불필요한 시각적 변형에 대해 불변 특징 표현을 학습하는 생성적 신경 메시 모델을 개발하기 위해.
• 세부적인 3D 기하 구조가 아닌 단일 프로토타입 메시(예: 큐보이드)를 사용함으로써 강건한 3D 자세 추정을 가능하게 하기 위해.
• 개별 인스턴스의 3D 메시 모델에 대한 의존도를 줄이기 위해 대비 학습을 활용하여 객체 부분 간에 고유하고 구분 가능한 특징을 생성하기 위해.

제안 방법

• NeMo는 객체 카테고리의 기하 구조 사전 지식으로서 프로토타입 3D 메시(예: 큐보이드)를 사용한다.
• CNN 기반 모델과 기하학적 변형 가능 렌더링을 활용해 각 메시 정점에서의 신경 특징 활성화를 생성 모델로 학습한다.
• 객체 부분과 배경 간의 특징 간 거리를 최대화하기 위해 대비 학습을 적용함으로써 불필요한 변형에 대한 불변성을 촉진한다.
• 추론 단계에서 NeMo는 렌더링된 특징 맵과 입력 이미지에서 추출한 특징 간의 재구성 오차를 최소화함으로써 3D 자세를 추정한다.
• 국소 최소값을 피하기 위해 여러 개의 무작위 초기 자세 시드에서 기반한 기울기 기반 최적화를 사용한다.
• 객체 부분과 배경 간 특징의 고유성을 강화하는 대비 손실을 사용해 종합적으로 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 대비 특징으로 훈련된 신경 메시 모델이 부분적인 가림 상황에서도 강건한 3D 자세 추정을 달성할 수 있는가?
• RQ2 세밀한 CAD 메시가 아닌 굵은 기하 구조 근사치(예: 큐보이드)를 사용할 경우 3D 자세 추정 성능이 떨어지는가?
• RQ3 NeMo는 훈련 데이터에 포함되지 않은 새로운 시점(예: 측면 시점)에 대해 어떻게 일반화되는가?
• RQ4 대비 학습이 3D 자세 추정에서 특징의 고유성과 강건성에 얼마나 기여하는가?
• RQ5 NeMo는 개별 인스턴스의 3D 메시 모델이 없이도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• PASCAL3D+에서 전체 가시성 조건(L0) 하에서 π/6 임계값 기준으로 NeMo는 86.7%의 정확도를 기록하며 표준 기준보다 뛰어난 성능을 보였다.
• 심한 가림 상황(L3)에서도 NeMo는 π/6 기준 47.1%의 정확도를 유지하며, 기준 모델이 20% 이하로 급격히 떨어지는 것과 대비해 뚜렷한 우월성을 보였다.
• 훈련 데이터에 없는 시점(측면 시점)에서도 NeMo는 π/6 기준 63.2%의 정확도를 기록하여 본래의 시점 성능과 유사한 수준의 강력한 일반화 능력을 입증했다.
• 제거 실험 결과, 대비 학습을 제거할 경우 정확도가 π/6 기준 69.7%로 떨어지며, 이는 대비 학습이 특징 고유성에 핵심적인 역할을 한다는 것을 시사한다.
• 큐보이드 메시를 사용함에도 불구하고 NeMo는 π/6 기준 86.7%의 정확도를 기록하여 세밀한 기하 구조가 필수적인 것은 아님을 입증했다.
• 6개의 무작위 자세 초기화만으로도 NeMo는 π/6 기준 80.4%의 정확도를 기록하여 초기화에 대한 강건성과 부드러운 손실 곡면을 보였다.