[논문 리뷰] Multi-Scale Geometric Consistency Guided Multi-View Stereo

Qingshan Xu, Wenbing Tao|arXiv (Cornell University)|2019. 04. 17.

Advanced Vision and Imaging참고 문헌 34인용 수 16

한 줄 요약

이 논문은 저조도 영역과 세부 영역에서의 깊이 추정을 향상시키기 위해 다중 척도 기하 일관성에 기반한 다중 시점 스테레오 방법인 ACMM을 제안한다. 적응형 체스보드 샘플링, 다중 가설 공동 시점 선택, 그리고 세부 복원기를 활용한 다중 척도 가이던스를 결합하여 ETH3D에서 최고 수준의 정확도와 완전성을 달성하면서도 높은 효율성을 유지하며, 이전의 COLMAP 및 Gipuma와 비교해도 속도와 품질 면에서 뛰어나다.

ABSTRACT

In this paper, we propose an efficient multi-scale geometric consistency guided multi-view stereo method for accurate and complete depth map estimation. We first present our basic multi-view stereo method with Adaptive Checkerboard sampling and Multi-Hypothesis joint view selection (ACMH). It leverages structured region information to sample better candidate hypotheses for propagation and infer the aggregation view subset at each pixel. For the depth estimation of low-textured areas, we further propose to combine ACMH with multi-scale geometric consistency guidance (ACMM) to obtain the reliable depth estimates for low-textured areas at coarser scales and guarantee that they can be propagated to finer scales. To correct the erroneous estimates propagated from the coarser scales, we present a novel detail restorer. Experiments on extensive datasets show our method achieves state-of-the-art performance, recovering the depth estimation not only in low-textured areas but also in details.

연구 동기 및 목표

• 텍스처가 없는 영역에서 매칭 신뢰도가 떨어지는 저조도 영역에서 정확한 깊이 추정을 해결하기 위해.
• 확산 유사한 전파 방식에서 구조적 영역 정보와 적응형 샘플링을 활용해 시점 선택의 강건성을 향상시키기 위해.
• 기하 일관성을 활용해 더 넓은 척도에서의 신뢰할 수 있는 추정치를 더 넓은 척도에서 전파하여 더 세밀한 척도에서의 깊이 추정을 향상시키기 위해.
• 업샘플링 과정에서 손실된 세부 사항을 복원하기 위해 차이 맵 기반의 세부 복원기를 활용하기 위해.
• 높은 계산 효율성을 유지하면서도 깊이 추정에서 최고 성능을 달성하기 위해.

제안 방법

• 구조적 영역 정보를 기반으로 동적으로 보다 나은 후보 가설을 선택함으로써 전파 품질을 향상시키는 적응형 체스보드 샘플링(ACS)을 도입한다.
• 다중 가설을 통해 각 픽셀에 대해 일관되고 높은 신뢰도를 가진 시점 서브셋을 투표 방식으로 추론하는 다중 가설 공동 시점 선택(MH-JVS)을 제안한다.
• 텍스처가 더 풍부한 더 넓은 척도에서 깊이를 추정하기 위해 다중 척도 이미지 피라미드를 활용하여 저조도 영역에서의 신뢰도를 향상시킨다.
• 더 넓은 척도에서의 깊이 추정치를 사용해 더 세밀한 척도에서 기하 일관성 제약 조건을 적용하여 매칭을 정밀하게 하고 오류를 줄인다.
• 근접한 척도 간의 광학 일관성 차이를 활용해 업샘플링 과정에서 손실된 세밀한 깊이 세부 사항을 복원하는 세부 복원기를 설계한다.
• 순차적 전파와 효율적인 GPU 최적화 계산을 통해 고속 추론을 구현하는 통합된 PatchMatch 스테레오 파이프라인을 사용한다.

실험 결과

연구 질문

• RQ1 구조적 영역 정보를 기반으로 한 적응형 샘플링이 다중 시점 스테레오에서 시점 선택과 전파를 향상시킬 수 있는가?
• RQ2 기하 일관성 가이던스를 갖춘 다중 척도 깊이 추정이 저조도 영역에서의 신뢰도를 향상시킬 수 있는가?
• RQ3 스케일 간 광학 일관성 차이를 기반으로 한 세부 복원기가 코arser-to-finer 전파 과정에서 손실된 세부 사항을 복원할 수 있는가?
• RQ4 다중 가설 공동 시점 선택과 다중 척도 기하 일관성의 조합이 깊이 추정에서 최고 성능을 달성하는가?
• RQ5 제안된 방법은 뛰어난 정확도와 완전성을 확보하면서도 높은 효율성을 유지할 수 있는가?

주요 결과

• ACMM는 ETH3D 실내 벤치마크에서 F1 스코어 92.96을 기록하여 COLMAP(90.40)과 Gipuma(87.86)를 크게 앞서며 최고 성능을 달성했다.
• 실외 데이터셋에서는 F1 스코어 94.35를 기록하여 ACMH(93.87)와 COLMAP(93.79)을 초월하며 도전적인 환경에서도 더 높은 완전성을 보였다.
• ACMM는 다중 척도 기하 일관성을 활용해 저조도 영역에서의 깊이 추정 오차를 줄여 더 완전하고 정확한 포인트 클라우드를 생성했다.
• COLMAP 대비 3배 빠르고 Gipuma 대비 6배 더 빠른 속도를 기록했으며, 효율적인 GPU 최적화 계산 덕분에 높은 성능를 유지했다.
• 질적 결과를 통해 세부 복원기가 효과적으로 세부 구조를 복원했으며, 그림 6의 빨간 박스 영역에서 ACMM가 더 완전한 포인트 클라우드를 생성했다.
• ACMM는 실내 및 실외 ETH3D 데이터셋에서 모든 지표(정확도, 완전성, F1)에서 최고 성능을 기록하여 강건성과 일반화 능력을 입증했다.