[논문 리뷰] Detail-preserving and Content-aware Variational Multi-view Stereo Reconstruction

Zhaoxin Li, Kuanquan Wang외 3명|arXiv (Cornell University)|2015. 05. 03.

Advanced Vision and Imaging참고 문헌 47인용 수 30

한 줄 요약

이 논문은 재투영 오차 최소화를 위한 새로운 에지 보존 유사도 측정법과 콘텐츠 인식 ℓp 기반 메esh 노이즈 제거를 번갈아가며 적용하는 디테일 보존 및 콘텐츠 인식 변분(MVS) 방법인 DCV를 제안한다. 가이드 이미지 필터링을 영상 정렬에 연결하고, p-값과 정규화 파라미터를 적응적으로 추정함으로써 DCV는 기존 최고 수준의 방법들보다 뛰어난 재구성 품질을 달성하며, Middlebury의 dino ring 및 dino sparse ring 데이터셋에서 정확도와 완전성 측면에서 모두 슈퍼리어한 성능을 발휘한다.

ABSTRACT

Accurate recovery of 3D geometrical surfaces from calibrated 2D multi-view images is a fundamental yet active research area in computer vision. Despite the steady progress in multi-view stereo reconstruction, most existing methods are still limited in recovering fine-scale details and sharp features while suppressing noises, and may fail in reconstructing regions with few textures. To address these limitations, this paper presents a Detail-preserving and Content-aware Variational (DCV) multi-view stereo method, which reconstructs the 3D surface by alternating between reprojection error minimization and mesh denoising. In reprojection error minimization, we propose a novel inter-image similarity measure, which is effective to preserve fine-scale details of the reconstructed surface and builds a connection between guided image filtering and image registration. In mesh denoising, we propose a content-aware $\ell_{p}$-minimization algorithm by adaptively estimating the $p$ value and regularization parameters based on the current input. It is much more promising in suppressing noise while preserving sharp features than conventional isotropic mesh smoothing. Experimental results on benchmark datasets demonstrate that our DCV method is capable of recovering more surface details, and obtains cleaner and more accurate reconstructions than state-of-the-art methods. In particular, our method achieves the best results among all published methods on the Middlebury dino ring and dino sparse ring datasets in terms of both completeness and accuracy.

연구 동기 및 목표

• 미세 구조적 디테일과 날카운 테두리를 보존하면서 노이즈를 억제하는 데에 한계를 보이는 기존 MVS 방법의 문제점을 해결한다.
• 메쉬 기반 MVS 재구성에서 등방성 메쉬 스무딩의 과도한 부드러움 문제를 극복한다.
• 저조직도 및 복잡한 기하학적 영역에서 재구성 정확도와 완전성을 향상시킨다.
• 지역 표면 콘텐츠에 따라 적응적으로 조정되는 콘텐츠 인식 메쉬 노이즈 제거 전략을 개발하여 더 나은 특징 보존을 달성한다.
• 가이드 필터링 원리를 활용해 디테일 보존을 향상시키는 새로운 상호이미지 유사도 측정법을 통합한다.

제안 방법

• 가이드 이미지 필터링과 영상 정렬을 연결한 새로운 상호이미지 유사도 측정법을 제안하여 미세 구조적 표면 디테일을 보존한다.
• 지역 표면 콘텐츠에 기반해 p-값과 정규화 파라미터를 동적으로 추정하는 콘텐츠 인식 ℓp 최소화 알고리즘을 사용하여 메쉬 노이즈 제거를 수행한다.
• 변분 프레임워크 내에서 재투영 오차 최소화와 메쉬 노이즈 제거를 번갈아가며 3차원 표면 재구성을 정밀하게 개선한다.
• 표면 기울기의 초하이퍼 라플라시안 모델링을 통해 ℓp 최소화 과정을 안정적으로 유도하여 노이즈 억제 성능을 향상시킨다.
• 두 단계 최적화 파이프라인을 활용한다: 먼저 새로운 유사도 측정법을 사용해 재투영 오차를 최소화하고, 그 다음 적응형 ℓp 정규화를 사용해 메쉬를 노이즈 제거한다.
• 캘리브레이션된 다중 시점 영상에 방법을 적용하며, 최초 표면 추정을 위해 PMVS+PSR을 활용한 후 개선 단계를 거친다.

실험 결과

연구 질문

• RQ1 가이드 필터링 원리를 기반으로 한 유사도 측정법이 다중 시점 재구성에서 디테일 보존에 기여할 수 있는가?
• RQ2 콘텐츠 인식 파라미터 추정을 통한 적응형 ℓp 최소화가 날카운 특징 보존 측면에서 등방성 및 이방성 메쉬 스무딩을 초월할 수 있는가?
• RQ3 디테일 보존 유사도 측정법과 콘텐츠 인식 노이즈 제거를 조합함으로써 벤치마크 데이터셋에서 뛰어난 재구성 품질을 달성할 수 있는가?
• RQ4 저조직도 및 복잡한 기하학적 조건을 가진 도전적인 데이터셋, 예를 들어 Middlebury의 dino ring에서 제안된 방법의 성능은 어떠한가?
• RQ5 기존 최고 수준의 접근 대비 노이즈를 줄이면서도 미세 구조적 표면 디테일을 유지하는 데에 얼마나 효과적인가?

주요 결과

• DCV 방법은 Middlebury의 dino ring 및 dino sparse ring 데이터셋에서 모든 발표된 방법들 중에서 완전성과 정확도 측면에서 최고의 성능을 기록했다.
• 벨 데이터셋에서는 DCV가 가장 깔끔하고 디테일이 풍부한 재구성을 생성했으며, 등방성 및 디테일 보존 유사도 베이스라인 대비 뛰어난 미세 특징 보존과 매끄러운 표면 재현을 보였다.
• 포 tolln-P11 실외 데이터셋에서는 DCV가 소규모 디테일과 날카운 특징 보존 측면에서 등방성 방법을 명확히 앞섰다.
• 스테이처걸 데이터셋에서는 DCV가 상용 소프트웨어인 Smart3Dcapture 수준의 재구성 품질을 달성했으며, 발가락과 얼굴 특징 같은 미세 구조적 디테일 복구 능력에서 뛰어났다.
• 콘텐츠 인식 ℓp 노이즈 제거 방법은 경쟁적 이방성 방법 대비 더 시각적으로 매력적인 결과를 만들어냈으며, Herzjesu-P8 및 Totoro 데이터셋에서 L0 기반 노이즈 제거 방법과 동등하거나 슈퍼리어한 성능을 보였다.
• 평탄한 영역, 날카운 에지, 미세 구조적 디테일을 모두 효과적으로 재구성하여 다양한 기하학적 및 텍스처 조건에서 뛰어난 강건성을 입증했다.