[논문 리뷰] Dense Non-Rigid Structure from Motion: A Manifold Viewpoint

Suryansh Kumar, Luc Van Gool외 4명|arXiv (Cornell University)|2020. 06. 15.

Advanced Vision and Imaging참고 문헌 58인용 수 4

한 줄 요약

이 논문은 국소 선형 부분공간을 그라스만 매니폴드를 사용해 모델링하고 전역적 저질수형상태 표현을 결합함으로써, 복잡한 비정형 변형을 정확하고 확장 가능하며 강건한 3D 재구성으로 가능하게 하는 매니폴드 기반 접근법을 제안한다. 이 방법은 공간-시간 매니폴드 융합을 통한 재구성과 클러스터링의 동시 최적화를 통해 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Non-Rigid Structure-from-Motion (NRSfM) problem aims to recover 3D geometry of a deforming object from its 2D feature correspondences across multiple frames. Classical approaches to this problem assume a small number of feature points and, ignore the local non-linearities of the shape deformation, and therefore, struggles to reliably model non-linear deformations. Furthermore, available dense NRSfM algorithms are often hurdled by scalability, computations, noisy measurements and, restricted to model just global deformation. In this paper, we propose algorithms that can overcome these limitations with the previous methods and, at the same time, can recover a reliable dense 3D structure of a non-rigid object with higher accuracy. Assuming that a deforming shape is composed of a union of local linear subspace and, span a global low-rank space over multiple frames enables us to efficiently model complex non-rigid deformations. To that end, each local linear subspace is represented using Grassmannians and, the global 3D shape across multiple frames is represented using a low-rank representation. We show that our approach significantly improves accuracy, scalability, and robustness against noise. Also, our representation naturally allows for simultaneous reconstruction and clustering framework which in general is observed to be more suitable for NRSfM problems. Our method currently achieves leading performance on the standard benchmark datasets.

연구 동기 및 목표

• 기존 희박 및 밀도 높은 NRSfM 방법의 복잡한 비선형 변형과 확장성 처리 능력의 한계를 해결한다.
• 밀도 높은 표면 운동에서 흔히 발생하는 국소 형태 변형을 모델링할 때 전역 저질수형상 가정의 실패를 극복한다.
• 국소 및 전역 변형 제약 조건을 통합한 확장 가능하고 노이즈에 강건한 프레임워크를 개발하여 밀도 높은 3D 재구성을 가능하게 한다.
• 통합된 매니폴드 표현을 통해 동시에 재구성과 클러스터링을 수행할 수 있도록 한다.
• 노이즈에 강건하고 계산 효율성이 높은 표준 NRSfM 벤치마크에서 최고 성능을 달성한다.

제안 방법

• 공간과 시간 양쪽에서 국소 선형 부분공간을 나타내는 그라스만 매니폴드를 사용해 국소 형태 변형을 모델링한다.
• 모든 프레임에서 전역 3D 형태를 저질수형상 분해를 통해 표현하며, 형태가 저차원 부분공간에 존재한다고 가정한다.
• 그라스만 매니폴드에서의 차원 감소를 통해 클러스터링 성능 향상과 노이즈에 대한 강건성을 향상시킨다.
• 형태와 궤적 매니폴드 간의 공간-시간 정보 융합을 위한 동시 최적화 문제를 설정한다.
• 최적의 부분공간 표현을 위해 특이값에서 97%의 분산을 유지하기 위해 임계값 기반 차원 선택(τ = 0.97)을 적용한다.
• 이웃 궤적 유사성 활용을 통해 노이즈 입력과 알려지지 않은 시간적 형태 정보를 처리할 수 있도록 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 그라스만 매니폴드 상의 국소 선형 부분공간을 사용할 경우, 전역 저질수형상 가정 대비 복잡한 비정형 변형의 모델링 성능이 향상되는가?
• RQ2 국소 및 전역 변형 제약 조건을 동시에 최적화하면 밀도 높은 3D 재구성 정확도가 어떻게 향상되는가?
• RQ3 그라스만 매니폴드에서의 차원 감소가 NRSfM에서의 노이즈에 대한 강건성에 얼마나 기여하는가?
• RQ4 통합된 공간-시간 매니폴드 표현을 통해 밀도 높은 NRSfM에서 동시에 재구성과 클러스터링을 수행할 수 있는가?
• RQ5 기존 최신 기술 대비 다양한 카메라 운동과 노이즈 입력 조건에서 이 방법의 성능은 어떠한가?

주요 결과

• 제안된 방법은 밀도 높은 비정형 구조에서의 재구성에 대해 표준 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 차원 선택에 τ = 0.97를 사용할 경우 다양한 데이터셋에서 일관되게 최적의 재구성 정확도를 얻는다.
• 클러스터링 이전에 매니폴드 표현을 낮은 차원 부분공간으로 투영함으로써 노이즈에 대한 강건성이 크게 향상된다.
• 재구성과 클러스터링을 동시에 수행하는 프레임워크는 이전의 전역 저질수형상 모델 대비 더 나은 복잡한 비선형 변형 처리 능력을 보인다.
• 이전의 희박 NRSfM 방법의 한계를 극복하고, 밀도 높은 특징점에 대해 효과적으로 확장 가능한 알고리즘이다.
• 특히 노이즈 조건에서 기존의 밀도 높은 NRSfM 알고리즘보다 정확도와 계산 효율성 면에서 뛰어난 성능을 보인다.