[논문 리뷰] Deep NRSfM++: Towards 3D Reconstruction in the Wild.

Chaoyang Wang, Chen-Hsuan Lin외 1명|arXiv (Cornell University)|2020. 01. 27.

Advanced Vision and Imaging인용 수 13

한 줄 요약

Deep NRSfM++는 실제 응용에서의 핵심 한계를 극복하기 위해 2D 랜드마크의 누락 또는 가림을 처리하고 투시 투영 카메라 모델을 지원함으로써 비정형 구조에서 운동을 위한 새로운 딥 러닝 접근법을 제안한다. 이는 여러 벤치마크에서 최신 기술 수준의 성능을 달성하며, 제약 없는 이미지 컬렉션으로부터의 3D 재구성 기술을 크게 발전시킨다.

ABSTRACT

The recovery of 3D shape and pose solely from 2D landmarks stemming from a large ensemble of images can be viewed as a non-rigid structure from motion (NRSfM) problem. To date, however, the application of NRSfM to problems in the wild has been problematic. Classical NRSfM approaches do not scale to large numbers of images and can only handle certain types of 3D structure (e.g. low-rank). A recent breakthrough in this problem has allowed for the reconstruction of a substantially broader set of 3D structures, dramatically expanding the approach's importance to many problems in computer vision. However, the approach is still limited in that (i) it cannot handle missing/occluded points, and (ii) it is applicable only to weak-perspective camera models. In this paper, we present Deep NRSfM++, an approach to allow NRSfM to be truly applicable in the wild by offering up innovative solutions to the above two issues. Furthermore, we demonstrate state-of-the-art performance across numerous benchmarks, even against recent methods based on deep neural networks.

연구 동기 및 목표

• 기존 NRSfM 방법들이 실제 환경에서 가지는 한계, 특히 2D 랜드마크의 누락 또는 가림 문제를 해결하기 위해.
• 비정형 이미지 컬렉션에 필수적인 실제적인 투시 카메라 모델로 NRSfM을 확장하기 위해.
• 약한 또는 무 supervision 하에 대규모 이미지 앙상블로부터 스케일러블하고 정확한 3D 재구성을 가능하게 하기 위해.
• 기존의 고전적 방법과 최근의 딥 러닝 기반 NRSfM 접근법에 비해 일반화 능력과 성능을 향상시키기 위해.
• 실제로 제약 없는 환경에서 적용 가능한 강력한 3D 형태 및 자세 복원 프레임워크를 구축하기 위해.

제안 방법

• 2D 랜드마크에서 3D 형태와 카메라 파라미터를 동시에 추정하는 딥 네트워크 아키텍처를 도입하여, 점들이 누락되거나 가려져 있어도 작동하도록 한다.
• 투시 투영 하에서 예측된 3D 형태와 관측된 2D 투영 간의 기하학적 일致성을 강제하기 위해 가분성 렌더링 모듈을 사용한다.
• 기존 NRSfM의 가정을 초월하는 복잡한 비-낮은 질서의 변형을 모델링하기 위해 3D 형태 공간에 학습 가능한 사전을 통합한다.
• 형태 보정과 카메라 파라미터 추정을 번갈아가며 수행하는 다단계 최적화 기법을 사용하여 수렴성과 정확도를 향상시킨다.
• 가림이 존재하더라도 예측된 2D 투영과 검출된 랜드마크 간의 일치하지 않는 정도를 벌리기 위한 가분성 손실 함수를 활용한다.
• 약한 투시 및 완전한 투시 카메라 모델을 처리할 수 있도록 네트워크를 적응시켜 실제 데이터에 대한 광범위한 적용 가능성을 높인다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 NRSfM 방법이 제약 없는 이미지 컬렉션에서 2D 랜드마크의 누락 또는 가림을 효과적으로 처리할 수 있는가?
• RQ2 딥 NRSfM 접근법이 약한 투시 모델 뿐 아니라 투시 카메라 모델으로도 얼마나 잘 일반화되는가?
• RQ3 기본 벤치마크에서 최신 기술 수준의 딥 러닝 및 고전적 NRSfM 접근법과 비교해 성능가 어떻게 되는가?
• RQ4 명시적 supervision 이 없이도 대규모 이미지 앙상블에서 복잡한 비-낮은 질서의 3D 형태를 재구성할 수 있는가?
• RQ5 가분성 렌더링과 기하학적 일치 손실이 재구성 정확도와 견고성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 여러 표준 NRSfM 벤치마크에서 최신 기술 수준의 성능을 달성하여 고전적 및 최근의 딥 러닝 기반 접근법을 모두 능가한다.
• 누락되거나 가려진 2D 랜드마크를 성공적으로 처리하여 이전 방법이 실패하는 상황에서도 높은 재구성 정확도를 유지한다.
• 투시 카메라 모델로의 일반화가 가능하여 이전에는 해결하기 어려웠던 실제 이미지 시퀀스에서 정확한 3D 재구성을 가능하게 한다.
• 가분성 렌더링과 기하학적 일치 손실의 통합이 형태 및 자세 추정 정확도를 크게 향상시킨다.
• 대규모 이미지 앙상블에서도 견고성과 확장성을 입증하여 실제 응용에 적합하다.
• 결과는 방법이 복잡한 비-낮은 질서의 3D 변형을 모델링할 수 있음을 확인하며, NRSfM 응용의 범위를 넓힌다.