[논문 리뷰] General Dynamic Scene Reconstruction from Multiple View Video

Armin Mustafa, Hansung Kim외 2명|arXiv (Cornell University)|2015. 09. 30.

Advanced Vision and Imaging참고 문헌 31인용 수 8

한 줄 요약

이 논문은 배경이나 시점의 구조에 대한 사전 지식 없이 다수의 이동 카메라에서의 조밀한 동적 시점 재구성과 분할을 위한 비지도 방법을 제안한다. 희박한 특징 매칭을 통해 자동 초기화를 수행한 후, 사진 일관성과 에지 신호를 활용한 시각 의존성 그래프 컷 최적화를 통한 분할 및 재구성의 동시 시공간적 정밀 조정을 수행하여, 복잡하고 혼잡한 환경에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

This paper introduces a general approach to dynamic scene reconstruction from multiple moving cameras without prior knowledge or limiting constraints on the scene structure, appearance, or illumination. Existing techniques for dynamic scene reconstruction from multiple wide-baseline camera views primarily focus on accurate reconstruction in controlled environments, where the cameras are fixed and calibrated and background is known. These approaches are not robust for general dynamic scenes captured with sparse moving cameras. Previous approaches for outdoor dynamic scene reconstruction assume prior knowledge of the static background appearance and structure. The primary contributions of this paper are twofold: an automatic method for initial coarse dynamic scene segmentation and reconstruction without prior knowledge of background appearance or structure; and a general robust approach for joint segmentation refinement and dense reconstruction of dynamic scenes from multiple wide-baseline static or moving cameras. Evaluation is performed on a variety of indoor and outdoor scenes with cluttered backgrounds and multiple dynamic non-rigid objects such as people. Comparison with state-of-the-art approaches demonstrates improved accuracy in both multiple view segmentation and dense reconstruction. The proposed approach also eliminates the requirement for prior knowledge of scene structure and appearance.

연구 동기 및 목표

• 배경이나 시점의 구조에 대한 사전 가정 없이 다수의 이동 카메라로 촬영한 일반적인 동적 시점을 조밀하게 재구성하고 분할할 수 있도록 하는 것.
• 기존 방법들이 알려진 배경, 크로마키 또는 동적 객체 기하학에 대한 강력한 사전 지식이 필요로 하는 한계를 해결하는 것.
• 희박한 다중 시점 특징을 활용하여 동적 객체 분할 및 거친 재구성을 위한 자동 초기화 파이프라인을 개발하는 것.
• 오염, 그림자, 혼잡한 배경이 있는 복잡한 환경에서 분할과 재구성을 동시에 최적화하여 내성적 강건성을 향상시키는 것.
• 수동 또는 사전 분할이 필요 없도록 하여 비제어 환경에서 완전히 비지도 재구성을 가능하게 하는 것.

제안 방법

• 다양한 시점 간의 희박한 특징 매칭에서 유도된 거친 재구성과 분할을 통해 사전 지식 없이도 자동 초기화가 가능한 구조를 생성한다.
• 광범위한 기준 거리 시점에서의 사진 일관성과 대비 신호를 활용한 시각 의존성 그래프 컷 최적화를 통해 분할과 조밀한 재구성을 동시에 정밀 조정한다.
• 오류에 강한 사진 일관성 측정법과 에지 정보를 통합하여 매칭 정확도를 향상시키고 객체 경계를 유지한다.
• 장면 특징을 이용해 카메라 외부 파rameter를 자동으로 보정함으로써 독립적으로 이동하는 카메라에서의 재구성을 가능하게 한다.
• 모델링에 알려진 배경 기하학이나 외관이 필요 없으며, 일반적인 동적 시점을 지원한다.
• 정밀 조정된 점군에서 포isson 표면 재구성 기법을 통해 조밀한 3D 메쉬를 재구성하고, 최종 모델에 텍스처 매핑을 적용한다.

실험 결과

연구 질문

• RQ1 비제어 환경에서 배경의 외관이나 구조에 대한 사전 지식 없이도 동적 시점 재구성을 달성할 수 있는가?
• RQ2 희박한 다중 시점 특징에서 어떻게 동적 객체 분할 및 재구성을 자동으로 초기화할 수 있는가?
• RQ3 분할과 재구성을 동시에 정밀 조정함으로써 혼잡하고 움직이는 카메라가 있는 동적 시점에서 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 최신 기술 수준의 접근법과 비교하여 분할 및 재구성 품질 측면에서 어떻게 성능을 내는가?
• RQ5 기존의 다중 시점 스테레오 및 재구성 기법 대비 제안된 방법의 계산 효율성은 어떠한가?

주요 결과

• 제안된 방법은 특히 실외 및 혼잡한 환경에서 최신 기술 수준의 접근법보다 뛰어난 분할 및 재구성 정확도를 달성한다.
• 메시 품질 측면에서 Guillemaut [10]과 Furukawa [8]을 크게 능가하며, Juggler 및 Magician와 같은 복잡한 시퀀스에서 더 명확한 경계와 더 적은 아티팩트를 보인다.
• Guillemaut 대비 약 25%의 계산 효율 향상을 달성하였으며, 데이터셋에 따라 프레임당 런타임이 295초에서 501초 사이로 변동한다.
• 배경이나 분할에 대한 사전 지식이 필요 없어 일반적인 동적 시점에서 비지도 재구성을 가능하게 한다.
• 표면 무늬가 없는 경우나 매우 혼잡한 환경에서는 한계가 있지만, 여러 비정형 동적 객체를 포함한 도전적인 데이터셋에서도 강건한 성능을 보여준다.
• 정량적 평가 결과, 지표가 없는 상황에서도 제안된 방법이 기준 방법보다 더 일관성 있는 깊이 맵과 더 잘 구조화된 메시를 생성하는 것으로 확인되었다.