[논문 리뷰] Dense Non-rigid Structure-from-Motion Made Easy - A Spatial-Temporal Smoothness based Solution

Yuchao Dai, Huizhong Deng외 1명|arXiv (Cornell University)|2017. 06. 27.

Advanced Vision and Imaging참고 문헌 12인용 수 6

한 줄 요약

이 논문은 공간-시간적 부드러움과 L1-노름 데이터 적합성에 기반하여, 합성 및 실제 영상 시퀀스에서 최신 기술 수준의 3D 재구성 성능을 달성하는 단순하고 강건하며 효율적인 밀도 높은 비정형 구조-운동 복원 방법을 제안한다. 문제를 연속적인 최소 제곱 최적화로 공식화함으로써, 복잡한 최적화나 GPU 가속을 요구하지 않고도 CPU 기반 구현이 용이해지며, 노이즈와 이방성 요소를 효과적으로 다룰 수 있다.

ABSTRACT

This paper proposes a simple spatial-temporal smoothness based method for solving dense non-rigid structure-from-motion (NRSfM). First, we revisit the temporal smoothness and demonstrate that it can be extended to dense case directly. Second, we propose to exploit the spatial smoothness by resorting to the Laplacian of the 3D non-rigid shape. Third, to handle real world noise and outliers in measurements, we robustify the data term by using the $L_1$ norm. In this way, our method could robustly exploit both spatial and temporal smoothness effectively and make dense non-rigid reconstruction easy. Our method is very easy to implement, which involves solving a series of least squares problems. Experimental results on both synthetic and real image dense NRSfM tasks show that the proposed method outperforms state-of-the-art dense non-rigid reconstruction methods.

연구 동기 및 목표

• 밀도 높은 비정형 구조-운동 복원의 과소 결정 문제를 해결하기 위해 고유한 공간적 및 시간적 부드러움을 활용한다.
• 복잡한 최적화나 GPU 가속을 요구하지 않고도 실제 측정값의 노이즈와 이방성 요소에 강건한 방법을 개발한다.
• 최소 제곱 기반의 단순하고 쉽게 구현 가능한 솔루션을 제공하여 기존 최신 기술 수준의 방법들을 능가한다.
• 밀도 높은 재구성에서 3D 형상의 라플라시안을 통해 공간 부드러움을 효과적으로 모델링할 수 있음을 보여준다.

제안 방법

• 시간적 일관성을 3D 형상 변화에 적용함으로써, 흩어진 NRSfM에서 시간적 부드러움 정규화를 밀도 높은 NRSfM로 확장하고 재검토한다.
• 3D 비정형 형상에 라플라시안 연산자를 적용하여 공간 부드러움을 도입함으로써 국소 기하학적 규칙성을 증진시킨다.
• 2D 특징 트랙의 노이즈와 이방성 요소에 대한 민감도를 줄이기 위해 L2 대신 L1 노름을 데이터 항목에 적용하여 강건성을 향상시킨다.
• 전체 최적화 문제를 희소 최소 제곱 하위 문제의 연속으로 해결함으로써, 효율적인 CPU 기반 구현을 가능하게 한다.
• 직각 투영 카메라 모델을 사용하고 카메라 중심을 물체의 중심에 놓는 가정을 통해 인수 분해 문제를 단순화한다.
• 공간-시간 제약 조건과 강건한 비용 함수 하에 카메라 운동과 3D 형상을 동시에 최적화하기 위해 반복적 정밀 조정을 사용한다.

실험 결과

연구 질문

• RQ1 추가적인 가정이나 복잡한 최적화 없이도 시간적 부드러움 정규화를 밀도 높은 비정형 구조-운동 복원에 직접 적용할 수 있는가?
• RQ2 3D 형상의 라플라시안을 통해 모델링된 공간 부드러움이 밀도 높은 재구성 정확도를 얼마나 효과적으로 향상시킬 수 있는가?
• RQ3 L1-노름 데이터 항목을 사용할 경우, 실제 2D 측정값의 노이즈와 이방성 요소에 대한 강건성이 얼마나 향상되는가?
• RQ4 단순하고 볼록적이며 최소 제곱 기반의 프레임워크가 복잡한 GPU 가속 최신 기술 수준의 방법들과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 평균 RMS 오차가 각각 0.0636, 0.0569, 0.0374, 0.0428로 나타나, 네 개의 합성 얼굴 시퀀스에서 최신 기술 수준의 방법들을 능가하거나 동등하게 성능을 내며 경쟁적인 3D 재구성 정확도를 달성한다.
• 큰 변형과 작은 회전을 포함하는 도전적인 Heart 시퀀스에서는 재구성 결과가 평탄해지는 경향을 보이며, 카메라 회전 추정의 정확도 부족으로 인한 민감도를 나타낸다.
• 입력 크기의 5%까지 증가하는 가우시안 노이즈 조건에서도 3D 재구성 오차가 낮게 유지되어 측정 노이즈에 대한 강건성을 입증한다.
• 이방성 비율이 10%까지 증가하더라도 3D 오차는 약간만 증가하고 모든 합성 시퀀스에서 0.1 이하로 유지되어 이방성에 대한 강력한 강건성을 확인한다.
• 시간 부드러움, 공간 부드러움, 강건한 비용 함수를 순차적으로 추가함으로써 재구성 품질이 크게 향상되며, RMS 오차가 0.5084에서 0.0700으로 감소함을 보여준다.
• 전체 방법이 최소 제곱 문제의 연속으로만 구성되어 있어 매우 효율적이며, 특수 하드웨어 없이도 CPU에서 실행 가능한데 적합하다.