[논문 리뷰] Deep Interpretable Non-Rigid Structure from Motion

Chen Kong, Simon Lucey|arXiv (Cornell University)|2019. 02. 28.

Advanced Vision and Imaging참고 문헌 39인용 수 5

한 줄 요약

이 논문은 3D 지도 없이 2D 기준점에서의 비정형 구조에서 운동을 복원하기 위한 딥 해석 가능한 신경망을 제안한다. 문제는 다층 블록 희박 딕셔너리 학습으로 공식화되어, 3D 지도 없이도 강건한 3D 재구성 가능성을 확보한다. 이 방법은 대규모 데이터셋에서 최신 기술 수준의 성능을 달성하며, 예측되지 않은 데이터로의 일반화 능력이 뛰어나며, 지도 없는 3D 데이터가 필요 없이 일관성 기반의 품질 측도를 도입한다.

ABSTRACT

All current non-rigid structure from motion (NRSfM) algorithms are limited with respect to: (i) the number of images, and (ii) the type of shape variability they can handle. This has hampered the practical utility of NRSfM for many applications within vision. In this paper we propose a novel deep neural network to recover camera poses and 3D points solely from an ensemble of 2D image coordinates. The proposed neural network is mathematically interpretable as a multi-layer block sparse dictionary learning problem, and can handle problems of unprecedented scale and shape complexity. Extensive experiments demonstrate the impressive performance of our approach where we exhibit superior precision and robustness against all available state-of-the-art works. The considerable model capacity of our approach affords remarkable generalization to unseen data. We propose a quality measure (based on the network weights) which circumvents the need for 3D ground-truth to ascertain the confidence we have in the reconstruction. Once the network's weights are estimated (for a non-rigid object) we show how our approach can effectively recover 3D shape from a single image -- outperforming comparable methods that rely on direct 3D supervision.

연구 동기 및 목표

• 현재 NRSfM 방법들이 대규모 영상 시퀀스와 복잡한 형태 변화를 다루는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 수학적으로 해석 가능한 딥 신경망을 개발하여, 3D 지도 없이도 예측되지 않은 데이터로 일반화할 수 있도록 하기 위해.
• 3D 지도 없이도 모델 평가에 의존하지 않도록, 딕셔너리 일관성 기반의 새로운 품질 측도를 도입하여 3D 지도 의존도를 제거하기 위해.
• 3D 지도 없이도 단일 이미지에서 2D 투영만을 사용하여 정확한 3D 재구성을 가능하게 하여, 3D 지도가 필요한 기존 방법들을 능가하기 위해.

제안 방법

• 이 방법은 NRSfM 문제를 다층 블록 희박 딕셔너리 학습 문제로 공식화하여, 비정형 형태 변화를 체계적으로 모델링한다.
• ISTA 알고리즘을 블록 희박성과 다층 설정으로 일반화하여, 피드포워드 딥 오토인코더 아키텍처를 도출한다.
• 모델은 3D 지도 없이도 2D 영상 좌표만을 사용하여 엔드 투 엔드로 훈련되며, 카메라 자세와 3D 점 좌표를 복원한다.
• 주요 혁신은 최종 딕셔너리의 상호 일관성을 모델 품질의 대체 지표로 사용하여, 3D 지도 없이도 훈련 가이던스를 제공한다는 점이다.
• 이 아키텍처는 수십만 개의 이미지를 지원하며, 대규모이고 복잡한 형태 매개변수화를 학습할 수 있다.
• 희박 코딩 구조를 통해 시간적 및 기하학적 사전 지식을 암묵적으로 활용함으로써, 강건성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 3D 지도 없이도 대규모로 확장 가능하고 해석 가능한 딥 신경망을 NRSfM에 설계할 수 있는가? 일반적인 DNN의 투명성 없는 특성과는 대비된다.
• RQ2 2D 투영만으로 훈련된 모델이 3D 지도 없이도 예측되지 않은 영상 시퀀스로 효과적으로 일반화할 수 있는가?
• RQ3 학습된 딕셔너리의 상호 일관성이 3D 재구성 품질을 신뢰할 수 있는 대체 지표로 기능할 수 있는가? 3D 지도가 없는 상황에서.
• RQ4 기존 최신 기술 수준의 방법들과 비교해 복잡한 비정형 운동 시퀀스에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 ShapeNet 및 CMU MoCap 벤치마크에서 최신 기술 수준의 성능를 달성하였으며, 다음으로 우수한 방법보다 형태 오차 비율이 30% 낮았다.
• 단일 이미지 인간 자세 추정 작업에서, Subject 15에서 PMP가 0.200을 기록하여 3D 지도에 의존하는 방법들을 능가했다.
• 최종 딕셔너리의 상호 일관성과 3D 재구성 오차 사이에 강한 음의 상관관계(R² ≈ 0.9)가 관찰되어, 이 지표가 품질의 대체 지표로 사용될 수 있음을 검증했다.
• 모델은 예측되지 않은 데이터로 효과적으로 일반화되며, 3D 지도 없이도 단일 이미지에서의 3D 재구성에 성공했다.
• 질적 결과를 통해 의자, 소파 등의 복잡한 물체 카테고리도 높은 정확도로 재구성하였다. 총 140,606장의 이미지에서 성능을 입증했다.
• 실패 사례(예: Subject 106)에서는 극단적인 변형에 민감함을 보였지만, 다양한 운동 패턴에서 전반적으로 강건성을 유지했다.