[논문 리뷰] 3DFS: Deformable Dense Depth Fusion and Segmentation for Object Reconstruction from a Handheld Camera

Tanmay Gupta, Daeyun Shin외 2명|arXiv (Cornell University)|2016. 06. 15.

Advanced Vision and Imaging참고 문헌 19인용 수 4

한 줄 요약

이 논문은 손으로 촬영한 카메라 영상에서 단일 객체의 정확한 3D 재구성 및 분할을 위한 3DFS를 제안한다. 회전 불변성 있는 굽힘 에너지 사전을 사용하여 밀도 높은 깊이 추정을 향상시키고, 영역 경계를 보정한 소프트맥스 부호 거리 함수를 통한 깊이 맵 융합과 함께, 그래프 컷을 이용한 공동 2D-3D 분할을 수행하여, 자세 오차와 깊이 정확도 저하가 있는 상황에서도 질감이 없는 표면과 반사성 표면에서 강건한 결과를 달성한다.

ABSTRACT

We propose an approach for 3D reconstruction and segmentation of a single object placed on a flat surface from an input video. Our approach is to perform dense depth map estimation for multiple views using a proposed objective function that preserves detail. The resulting depth maps are then fused using a proposed implicit surface function that is robust to estimation error, producing a smooth surface reconstruction of the entire scene. Finally, the object is segmented from the remaining scene using a proposed 2D-3D segmentation that incorporates image and depth cues with priors and regularization over the 3D volume and 2D segmentations. We evaluate 3D reconstructions qualitatively on our Object-Videos dataset, comparing to fusion, multiview stereo, and segmentation baselines. We also quantitatively evaluate the dense depth estimation using the RGBD Scenes V2 dataset [Henry et al. 2013] and the segmentation using keyframe annotations of the Object-Videos dataset.

연구 동기 및 목표

• 사용자 상호작용 없이 완전 자동으로 손동작 영상에서 단일 객체의 3D 재구성을 가능하게 하기.
• 질감이 없거나 반사성이 높은 표면과 같은 도전적인 조건에서 깊이 맵 정확도를 향상시키기.
• TSDF의 절단을 소프트맥스 기반 부호 거리 함수로 대체하여 깊이 오차에 더 강건한 볼륨 융합을 향상시키기.
• 사전과 정규화를 활용해 2D 이미지 라벨과 3D 볼록체 라벨을 동시에 최적화하여 정확한 객체 분할을 달성하기.
• 3D 프int 및 증강 현실 응용 분야에 적합한 고품질의 매끄러운 3D 메시 생성하기.

제안 방법

• 다중 시점 스테레오 신호, VSLAM에서 유도된 희소 점군, 그리고 표면의 매끄러움을 위한 회전 불변성 있는 2차 굽힘 에너지를 조합한 새로운 목적 함수를 제안하여 밀도 높은 깊이 추정을 향상시킨다.
• 기존의 TSDF 절단을 소프트맥스 기반 부호 거리 함수(SDF)로 대체하여 깊이 맵 오차에 대한 강건성과 더불어 더 매끄러운 표면을 생성한다.
• 소프트맥스 융합으로 인한 SDF의 제로 크로싱 이동을 보정하기 위해 PMVS에서 유도된 희소 표면 점군을 사용한 변형 단계를 도입한다.
• 이미지 색상, 깊이 신호, 3D 연속성 사전을 활용해 픽셀과 볼록체가 상호 제약을 가하는 그래프 컷 최적화를 통해 공동 2D-3D 분할을 수행한다.
• 다양한 시점 간의 일관성과 3D 볼륨 내부의 일관성을 강화하기 위해 슈퍼픽셀 기반 단항 항과 볼록체 기반 단항 항을 사용한다.
• 트림랩 초기화와 스펙트럴 매트팅을 대체 분할 방법으로 도입하지만, 계산 비용이 높아 다중 시점 환경에서는 제한적으로 사용된다.

실험 결과

연구 질문

• RQ1 공동 2D-3D 분할 프레임워크는 2D 전용 또는 3D 전용 접근 방식에 비해 객체 재구성 정확도를 향상시킬 수 있는가?
• RQ2 제로 크로싱 보정이 있는 소프트맥스 부호 거리 함수는 깊이 맵 오차가 존재하는 상황에서 기존의 절단된 SDF보다 우수한 성능을 보일 수 있는가?
• RQ3 굽힘 에너지 사전은 질감이 없는 표면과 반사성 표면에서 깊이 맵 품질을 향상시킬 수 있는가?
• RQ4 PMVS에서 유도된 희소 점군의 통합은 SDF 변형과 표면 재구성에 어떤 영향을 미치는가?
• RQ5 픽셀과 볼록체에 대한 공동 추론은 복잡한 시점에서 분할 오차를 어느 정도 감소시킬 수 있는가?

주요 결과

• 굽힘 에너지 정규화를 적용한 제안된 깊이 추정 방법은 Object-Videos 및 RGBD Scenes v2 데이터셋 모두에서 기준 정규화 방법보다 뛰어난 성능을 보였다.
• 변형을 거친 소프트맥스 SDF 융합은 기존의 표준 TSDF에 비해 특히 깊이 오차가 존재하는 영역에서 더 뛰어난 표면 매끄러움과 재구성 품질을 달성했다.
• 공동 2D-3D 분할(2D-3D GC Pixel)은 유일하게 두 케이스를 제외하고 2D 전용 분할보다 우수한 성능을 보였으며, 3D 일관성 제약의 유용성을 입증했다.
• 공동 2D-3D 분할을 통한 볼록체 기반 3D 모델은 이미지 수준의 오차에 민감한 형태 캐빙 기법보다 더 정확했다.
• 변형된 SDF와 2D-3D GC Voxel의 메시를 조합하면 가장 시각적으로 매력적인 3D 재구성 결과를 얻을 수 있었지만, 실루엣 정확도는 2D-3D GC Voxel 전용일 때 약간 낮았다.
• 카메라 자세 추정 오차는 여전히 주요 실패 원인으로 작용하며, 특히 흐릿하거나 급격히 움직이는 영상에서는 깊이 맵 품질과 분할 일관성에 악영향을 미친다.