[논문 리뷰] Superpixel Soup: Monocular Dense 3D Reconstruction of a Complex Dynamic Scene

Suryansh Kumar, Yuchao Dai외 1명|arXiv (Cornell University)|2019. 11. 19.

Image Processing and 3D Reconstruction참고 문헌 54인용 수 5

한 줄 요약

이 논문은 복잡한 동적 시나리오의 단안 밀도 3D 재구성 문제를 해결하기 위해, 각각의 정지 운동을 겪는 조각별 평면 표면 집합으로 장면을 모델링하는 통합적 방법인 Superpixel Soup를 제안한다. 이 방법은 기하 일관성 제약 조건을 갖춘 3D 퍼즐 문제로 재구성하여 척도 모호성을 해결하고, 객체 수준의 운동 세분화를 요구하지 않으며 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This work addresses the task of dense 3D reconstruction of a complex dynamic scene from images. The prevailing idea to solve this task is composed of a sequence of steps and is dependent on the success of several pipelines in its execution. To overcome such limitations with the existing algorithm, we propose a unified approach to solve this problem. We assume that a dynamic scene can be approximated by numerous piecewise planar surfaces, where each planar surface enjoys its own rigid motion, and the global change in the scene between two frames is as-rigid-as-possible (ARAP). Consequently, our model of a dynamic scene reduces to a soup of planar structures and rigid motion of these local planar structures. Using planar over-segmentation of the scene, we reduce this task to solving a "3D jigsaw puzzle" problem. Hence, the task boils down to correctly assemble each rigid piece to construct a 3D shape that complies with the geometry of the scene under the ARAP assumption. Further, we show that our approach provides an effective solution to the inherent scale-ambiguity in structure-from-motion under perspective projection. We provide extensive experimental results and evaluation on several benchmark datasets. Quantitative comparison with competing approaches shows state-of-the-art performance.

연구 동기 및 목표

• 카메라와 물체가 모두 움직이는 복잡한 동적 시나리오에서의 밀도 높은 3D 재구성 문제를 해결하기 위해.
• perspective structure-from-motion에서 척도 모호성 문제를 겪는 기존 방법의 한계를 극복하기 위해.
• 장면의 강성 또는 물체 경계에 대한 사전 지식이 필요 없는 통합 프레임워크를 개발하기 위해.
• 기하 제약 조건을 사용하여 단안 3D 재구성에 내재된 상대적 척도 모호성을 해결하기 위해.
• 오직 두 장의 투영 영상만으로도 전역적으로 일관된 밀도 높은 3D 재구성을 달성하기 위해.

제안 방법

• 이 방법은 동적 장면을 각각 고유한 정지 운동을 겪는 '스프로트' 형태의 조각별 평면 표면 집합으로 모델링한다.
• 슈퍼픽셀 기반의 과세분화를 사용하여 영상 내 국소 평면 영역을 정의하고, 각 슈퍼픽셀에 대해 3D 재구성을 수행한다.
• 이웃하는 슈퍼픽셀 간에 as-rigid-as-possible (ARAP) 변형 모델을 전역 최적화 프레임워크를 통해 적용하여 부드럽고 일관된 3D 운동을 보장한다.
• 최적화는 네 가지 에너지 항목을 조합한다: 국소 강성에 대한 ARAP, 2D 일관성에 대한 재투영 오차, 경계를 넘는 3D 연속성, 법선 방향 정렬.
• ARAP 항목은 슈퍼픽셀 기준점의 K-최근접 이웃 그래프 기반으로 정의되어 3D 공간 내 국소 강성을 유지한다.
• 이 방법은 모든 평면 패치의 3D 위치와 상대 척도를 동시에 최적화하여 외부 사전 지식 없이도 척도 모호성을 해결한다.

실험 결과

연구 질문

• RQ1 객체 수준의 운동 세분화에 의존하지 않고도, 복잡한 동적 시나리오의 밀도 높은 3D 재구성을 달성할 수 있는가?
• RQ2 기하 사전 지식을 사용하여 단안 구조에서 운동의 척도 모호성을 어떻게 해결할 수 있는가?
• RQ3 as-rigid-as-possible 변형을 갖는 조각별 평면 모델이 얼마나 현실적인 동적 시나리오 운동을 잘 포괄할 수 있는가?
• RQ4 각 기하 제약 조건 항목(ARAP, 재투영, 연속성, 방향성)이 최종 재구성 품질에 기여하는 정도는 어느 정도인가?
• RQ5 통합 최적화 프레임워크는 국소 강성과 전역 일관성을 효과적으로 균형 잡을 수 있는가?

주요 결과

• 제안된 방법은 MPI Sintel 및 YouTube Object와 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 핵심 시퀀스에서 평균 상대 재구성 오차가 0.17 이하로 낮아졌다.
• 제거 실험 결과, ARAP, 재투영, 연속성, 방향성 중 어느 항목이라도 제거할 경우 재구성 품질이 심각하게 악화됨을 확인하였다.
• ARAP 항목은 정확한 상대 척도 추정에 필수적이며, 재투영, 연속성, 방향성 항목의 조합은 이웃 평면 간에 매끄럽고 정렬된 3D 경계를 보장한다.
• 이동하는 여자와 움직이는 카트를 포함한 복잡한 운동을 보이는 장면에서도 성공적으로 재구성하였으며, 이는 이전 방법들이 이러한 조건에서 실패하는 데 비해 뛰어난 성능을 보임을 시사한다.
• 법선 방향 제약 조건의 포함은 성능 향상에 거의 기여하지 않아, ARAP 및 재투영 항목이 최적화 과정에서 주도적 역할을 한다는 것을 시사한다.
• 표 2의 정량적 결과에 따르면, ARAP 항목을 추가함으로써 alley_1 시퀀스에서 오차가 0.2248(기준)에서 0.1606으로 감소하여, ARAP 항목의 핵심적 역할을 입증하였다.