[논문 리뷰] "Maximizing rigidity" revisited: a convex programming approach for generic 3D shape reconstruction from multiple perspective views

Pan Ji, Hongdong Li외 2명|arXiv (Cornell University)|2017. 07. 17.

Advanced Vision and Imaging인용 수 3

한 줄 요약

이 논문은 다중 시점에서의 강성 없는 3D 형태 재구성과 강성 있는 3D 형태 재구성을 통합하는 볼록 준선형계획법 프레임워크를 제안한다. 카메라 자세 추정을 명시적으로 수행하지 않고도 강성을 최대화함으로써 이를 달성한다. 문제를 비선형성 없이 최소화하는 볼록 최적화 문제로 재구성하여, 강성, 비강성, 관절 운동 데이터셋에서 최신 기술 수준의 정확도를 달성하며 전역 최적성 보장을 제공한다.

ABSTRACT

Rigid structure-from-motion (RSfM) and non-rigid structure-from-motion (NRSfM) have long been treated in the literature as separate (different) problems. Inspired by a previous work which solved directly for 3D scene structure by factoring the relative camera poses out, we revisit the principle of "maximizing rigidity" in structure-from-motion literature, and develop a unified theory which is applicable to both rigid and non-rigid structure reconstruction in a rigidity-agnostic way. We formulate these problems as a convex semi-definite program, imposing constraints that seek to apply the principle of minimizing non-rigidity. Our results demonstrate the efficacy of the approach, with state-of-the-art accuracy on various 3D reconstruction problems.

연구 동기 및 목표

• 강성 있는 구조-모션(3D 구조-모션)과 비강성 있는 구조-모션을 별도의 처리 없이 하나의 프레임워크로 통합한다.
• 기존의 두 단계로 나누어지는 SfM 파이프라인의 한계를 극복한다. 이는 카메라 운동 추정이 명시적으로 필요하고, 강성과 비강성 장면에 대해 별도의 방법을 사용해야 하는 점을 포함한다.
• 장면 유형에 대한 사전 지식 없이도 최적의 3D 구조를 관측된 영상 측정치 기반으로 자동으로 결정하는 강성 무관(의존) 방법을 개발한다.
• 강성 최대화 원칙을 볼록 강성 측정법으로 재구성하여, 준선형계획법을 통한 전역 최적화를 가능하게 한다.
• 비틀림, 관절 운동, 강성 물체를 포함한 다양한 3D 운동 유형에서 최신 기술 수준의 재구성 정확도를 달성한다.

제안 방법

• 해당 방법은 카메라 자세 추정을 생략하고 2D 특징 대응점을 기반으로 시각 삼각형을 구성함으로써 3D 구조를 직접 재구성한다.
• 3D 재구성 문제를 새로운 볼록 강성 측정법을 최소화하는 볼록 준선형계획법(SDP)으로 재구성하여 구조 일관성을 강제한다.
• 강성 측정법은 점 간 거리 편차에서 유도되며, 영상 제약 조건 하에서 가능한 한 강성 있는 해를 촉진한다.
• 전역 최적성을 보장하기 위해 SDP 근사법을 사용하여 비볼록 형식에서 흔히 발생하는 국소 최적해 문제를 피한다.
• 각 시점에 대해 n개의 3D 점이 있을 때 크기 (n+1)×(n+1)의 SDP를 풀어 구조를 동시에 추정하고 강성을 강제한다.
• 프레임워크는 본질적으로 강성 무관하며, 데이터에 따라 자동으로 강성, 비강성 또는 관절 운동 장면에 적합하게 적응한다.

실험 결과

연구 질문

• RQ1 장면 유형에 대한 사전 지식 없이도 강성과 비강성 장면을 모두 처리할 수 있는 통합 3D 재구성 프레임워크를 개발할 수 있는가?
• RQ2 강성 최대화 원칙을 볼록 최적화 문제로 재구성하여 전역 최적성을 보장할 수 있는가?
• RQ3 비볼록 대비 볼록 강성 측정법이 재구성 정확도와 내성에 있어 뛰어나다고 할 수 있는가?
• RQ4 관절 운동과 비강성 변형을 포함한 다양한 3D 재구성 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 기존의 볼록 형식 대비 정확도와 계산 확장성 측면에서 제안된 방법은 어떻게 비교되는가?

주요 결과

• CMU Mocap 데이터셋에서, 점-관절 운동 시퀀스에서는 평균 상대 3D 오차 1.11%를 기록했고, 축-관절 운동 시퀀스에서는 0.45%를 기록하여 기준선 [3]보다 뚜렷이 뛰어난 성능을 보였다.
• Dance, Drink, Pickup, Yoga, Stretch 시퀀스에서는 제안된 방법이 최신 기술 수준의 기준선 [3]보다 일관되게 낮은 평균 3D 재구성 오차를 보였다.
• HumanEva-I 데이터셋에서, RMSE는 0.162 mm, 상대 오차는 3.02%를 기록하여 기준선 [3]의 0.200 mm 및 3.73%를 뛰어넘었다.
• HumanEva-I 데이터셋에서 최신 기술 수준의 정확도를 달성하여 비강성 형태 재구성에서 뛰어난 성능을 입증했다.
• 낮은 오차로 관절 운동을 성공적으로 재구성하여 복잡한 운동 유형에 대한 강건성을 보였다.
• 볼록 형식은 전역 최적성을 보장하여 비볼록 접근법에서 흔히 발생하는 국소 최적해 문제를 피한다.