[논문 리뷰] Monocular Dense 3D Reconstruction of a Complex Dynamic Scene from Two Perspective Frames

Suryansh Kumar, Yuchao Dai외 1명|arXiv (Cornell University)|2017. 08. 15.

Advanced Vision and Imaging참고 문헌 21인용 수 11

한 줄 요약

이 논문은 단 두 장의 투영 영상에서 복잡한 동적 장면의 단일 렌즈 밀도 3D 재구성에 대해 슈퍼픽셀과잉분할과 가능한 한 강성(ARAP) 제약 조건을 사용하여 척도 모호성을 해결하는 SuperpixelSoup 알고리즘을 제안한다. 객체 분할, 템플릿 사전 지식, 또는 개별 객체의 강성 가정 없이도 최신 기술 수준의 정확도를 달성하며, 최소한의 입력으로 비강성, 조각별 평면적 장면을 견고하게 재구성할 수 있다.

ABSTRACT

This paper proposes a new approach for monocular dense 3D reconstruction of a complex dynamic scene from two perspective frames. By applying superpixel over-segmentation to the image, we model a generically dynamic (hence non-rigid) scene with a piecewise planar and rigid approximation. In this way, we reduce the dynamic reconstruction problem to a "3D jigsaw puzzle" problem which takes pieces from an unorganized "soup of superpixels". We show that our method provides an effective solution to the inherent relative scale ambiguity in structure-from-motion. Since our method does not assume a template prior, or per-object segmentation, or knowledge about the rigidity of the dynamic scene, it is applicable to a wide range of scenarios. Extensive experiments on both synthetic and real monocular sequences demonstrate the superiority of our method compared with the state-of-the-art methods.

연구 동기 및 목표

• 비강성 및 사전 지식 부족으로 인해 기존의 강성 기반 구조-운동에서의 복원이 실패하는 복잡한 동적 장면에서의 밀도 3D 재구성 문제를 해결하기 위해.
• 일般적인 동적 환경에서 어려움과 오류가 발생하기 쉬운 객체 수준의 운동 분할이 필요 없도록 하기 위해.
• 기하 제약 조건을 사용하여 단일 렌즈 3D 재구성에서 발생하는 본질적 상대 척도 모호성을 해결하기 위해.
• 지역적으로 강성, 전반적으로 가능한 한 강성(ARAP) 변형 및 조각별 평면적 장면 구조라는 온건한 가정 하에서 작동하는 통합 프레임워크를 개발하기 위해.
• 이동 및 실시간 응용에 적합한 최소한의 입력(두 장의 영상)으로도 고해상도 3D 재구성 기능을 제공하기 위해.

제안 방법

• 각 영상에서 시각적으로 일관된 평면 유사 영역으로 나누는 슈퍼픽셀 과분할을 사용하여 '슈퍼픽셀 스프우'를 형성한다.
• 가능한 한 강성(ARAP) 제약 조건 하에서 슈퍼픽셀의 3D 위치를 최적화하여 3D 재구성을 '3D 슈퍼픽셀 퍼즐 조립' 문제로 공식화한다.
• ARAP 에너지 항목은 K-최근접 이웃 영역 내에서 강성 변형에서의 편차를 최소화함으로써 국소 강성을 강제한다.
• 광학 일관성과 ARAP 정규화를 조합한 비용 함수를 사용하여 두 뷰 간의 슈퍼픽셀을 글로벌 최적화 프레임워크로 정렬한다.
• perspective 투영과 척도 모호성을 고려한 비볼록 최적화 문제를 풀어 깊이와 3D 구조를 동시에 추정한다.
• 조각별 평면 가정을 활용하여 재구성 문제를 단순화하고 비강성 운동에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 객체 수준의 분할 없이 단 두 장의 투영 영상에서만 복잡한 동적 장면의 밀도 3D 재구성을 달성할 수 있는가?
• RQ2 다중 뷰 제약 조건이 아닌 기하 사전 지식을 사용하여 단일 렌즈 3D 재구성의 상대 척도 모호성을 해결할 수 있는가?
• RQ3 가능한 한 강성(ARAP) 제약 조건이 비강성, 조각별 평면적 장면의 정확한 재구성에 충분한가?
• RQ4 K-최근접 이웃 그래프에서 K의 값 선택이 다양한 장면 복잡성 하에서 재구성 품질에 어떤 영향을 미치는가?
• RQ5 두 뷰만을 사용할 때 통합 프레임워크가 다중 프레임 방법보다 우수한 성능을 낼 수 있는가?

주요 결과

• 제안된 SuperpixelSoup 방법은 MPI Sintel, Virtual KITTI, KITTI와 같은 벤치마크 데이터셋에서 경쟁 방법이 다수의 프레임을 사용함에도 불구하고 최신 기술 수준의 재구성 정확도를 달성한다.
• Kinect_Paper 및 Kinect_Tshirt 데이터셋에서, 단 두 장의 영상만을 사용함에도 불구하고 다중 프레임 비강성 SfM 방법(예: GLRT, BMM, PTA)보다 평균 깊이 오차에서 뛰어난 성능을 보였다.
• ARAP 제약 조건을 활용하여 단일 렌즈 재구성에서 발생하는 상대 척도 모호성을 효과적으로 해결하였으며, 외부 캘리브레이션 없이도 척도를 안정화시켰다.
• 실험 결과 K=15–20이 최적의 재구성 품질을 제공함을 확인하였으며, 낮은 K는 과적합을 유도하고, 높은 K는 과도하게 부드럽게 하고 잘못된 영역 융합을 초래한다.
• YouTube-Objects 데이터셋의 시각적 결과는 지상 진위가 없는 실제 영상 시퀀스에서도 강건성을 입증하며 실용적 적용 가능성을 확인하였다.
• 이웃 슈퍼픽셀 간의 관계가 큰 운동으로 인해 손상되더라도 방법은 효과적으로 작동하며, 극단적인 경우를 제외하고는 성능 저하가 크지 않다. (보조 자료에서 확인 가능)