[논문 리뷰] Multi-body Non-rigid Structure-from-Motion

Suryansh Kumar, Yuchao Dai외 1명|arXiv (Cornell University)|2016. 07. 15.

Advanced Vision and Imaging참고 문헌 21인용 수 3

한 줄 요약

이 논문은 2D 특징 트랙에서 다중 비정형 물체의 3D 형태를 동시에 복원하고 분할하는 데 있어 최초의 프레임워크를 제안한다. 각 물체의 운동을 애핀 서브스페이스 안에 놓여 있다고 모델링하고, 희소 코딩을 통해 자기표현성(self-expressiveness)을 강제함으로써, 비볼록 최적화 문제를 ADMM를 사용해 해결한다. 이로 인해 두 단계 방법에 비해 합성 및 실재 시퀀스에서 뛰어난 3D 복원 및 분할 성능을 달성한다.

ABSTRACT

Conventional structure-from-motion (SFM) research is primarily concerned with the 3D reconstruction of a single, rigidly moving object seen by a static camera, or a static and rigid scene observed by a moving camera --in both cases there are only one relative rigid motion involved. Recent progress have extended SFM to the areas of {multi-body SFM} (where there are {multiple rigid} relative motions in the scene), as well as {non-rigid SFM} (where there is a single non-rigid, deformable object or scene). Along this line of thinking, there is apparently a missing gap of "multi-body non-rigid SFM", in which the task would be to jointly reconstruct and segment multiple 3D structures of the multiple, non-rigid objects or deformable scenes from images. Such a multi-body non-rigid scenario is common in reality (e.g. two persons shaking hands, multi-person social event), and how to solve it represents a natural {next-step} in SFM research. By leveraging recent results of subspace clustering, this paper proposes, for the first time, an effective framework for multi-body NRSFM, which simultaneously reconstructs and segments each 3D trajectory into their respective low-dimensional subspace. Under our formulation, 3D trajectories for each non-rigid structure can be well approximated with a sparse affine combination of other 3D trajectories from the same structure (self-expressiveness). We solve the resultant optimization with the alternating direction method of multipliers (ADMM). We demonstrate the efficacy of the proposed framework through extensive experiments on both synthetic and real data sequences. Our method clearly outperforms other alternative methods, such as first clustering the 2D feature tracks to groups and then doing non-rigid reconstruction in each group or first conducting 3D reconstruction by using single subspace assumption and then clustering the 3D trajectories into groups.

연구 동기 및 목표

• 다중 비정형 구조에서의 SFM 연구에서 빈도가 높은 격차를 메우기: 여러 개의 독립적으로 변형되는 물체가 존재하는 상황.
• 단일 순차적 두 단계 방법 대신, 비정형 물체의 3D 복원과 운동 분할을 동시에 해결하기.
• 각 비정형 물체의 3D 궤적을 낮은 차원의 애핀 서브스페이스 안에 놓여 있다고 모델링하기 위해 서브스페이스 클러스터링 원리를 활용하기.
• 교차 최적화를 통해 3D 구조와 분할을 동시에 추정하는 효율적인 최적화 프레임워크 개발하기: 분할의 대안으로서의 ADMM (교차 방향 다중 승수 방법).
• 서로 다른 비정형 물체가 상호작용하는 복잡한 실재 세계 및 합성 시퀀스에서 뛰어난 성능을 보여주기.

제안 방법

• 각 비정형 물체의 3D 궤적을 애핀 서브스페이스 안에 놓여 있다고 모델링하여, 운동의 저랭크 표현 가능하게 하기.
• 자기표현성 강제: 동일한 구조의 다른 3D 궤적들의 희소 애핀 조합으로 각 3D 궤적을 표현하기.
• 핵심 노름과 희소성 정규화를 갖는 비볼록 최적화 문제로 공식화하고, ADMM를 통해 해결하기.
• 희소 코딩에서 유도된 유사도 행렬을 활용해 분할을 이끌어내어, 동일한 물체에서 온 궤적이 함께 그룹핑되도록 보장하기.
• 밀도 높은 시퀀스에서 이웃 제약 조건을 통합하여 복원 정밀도 향상시키기.
• 2D 특징 트랙에 대해 종단 간(end-to-end)으로 적용하여 직접적으로 3D 복원 결과와 분할 결과 출력하기.

실험 결과

연구 질문

• RQ1 단일 단일 카메라 영상 시퀀스에서 단일 강성 또는 비정형 운동을 가정하지 않고, 다중 비정형 물체의 동시 복원 및 분할이 가능한가?
• RQ2 비정형 운동을 자기표현 애핀 서브스페이스로 모델링할 경우, 두 단계 방법에 비해 3D 복원 및 분할 정확도가 향상되는가?
• RQ3 제안된 ADMM 기반 최적화가 다중 비정형 NRSFM의 비볼록성을 효과적으로 다룰 수 있을까? 동시에 계산 효율성도 유지되는가?
• RQ4 사람들이 손을 맞잡거나 여러 개의 제스처가 동시에 발생하는 복잡한 실재 세계 시퀀스에서 이 방법은 어떻게 성능을 보이는가?
• RQ5 밀도 높은 특징 트랙과 더 긴 영상 시퀀스에서도 성능 저하 없이 확장 가능한가?

주요 결과

• UMPM 데이터셋에서 제안된 방법은 p2_free_2에서 3D 복원 오차 0.1992, p3_ball_1에서 0.1348, p4_meet_12에서 0.0821를 기록했으며, p4_meet_12 제외 전부에서 운동 분할 오차가 0.0(eMS = 0.0)이었다. p4_meet_12에서는 eMS = 0.0135였다.
• 합성 얼굴 시퀀스에서 제약 조건 CD 하에 3D 복원 오차가 0.0380으로 나타나, 정확도와 강인성 면에서 기준 방법들을 능가했다.
• UMPM 시퀀스의 다섯 개 중 네 개에서 완벽한 운동 분할(eMS = 0.0)을 달성하여 강력한 클러스터링 능력을 보였다.
• Face+Heart 시퀀스의 시각적 결과는 각 물체에 대해 명확한 색상 레이블을 부여하여 정확한 분할을 확인했으며, 비정형 특징 트랙이 올바르게 그룹핑되었음을 확인했다.
• 그림 13에서 보듯이, 제안된 방법의 유사도 행렬은 SSC보다 진짜 물체 간 관계를 더 잘 포착했으며, 더 명확한 블록 구조가 나타나 정확한 분할을 반영하고 있었다.
• 단일 서브스페이스로 복원한 후 클러스터링하거나, 2D 트랙을 먼저 클러스터링한 후 복원하는 두 단계 기반 방법에 비해, 3D 공간에서 두 작업을 동시에 최적화함으로써 성능이 뛰어났다.