[논문 리뷰] IterMVS: Iterative Probability Estimation for Efficient Multi-View Stereo

Fangjinhua Wang, Silvano Galliani외 2명|arXiv (Cornell University)|2021. 12. 09.

Advanced Vision and Imaging인용 수 8

한 줄 요약

IterMVS는 다중 반복 과정을 통해 다중 해상도 매칭 특징을 사용하여 픽셀별 깊이 분포를 개선하는 경량적이고 GRU 기반의 반복적 확률 추정기를 제안한다. 이는 고해상도 다중 시점 스테레오를 뛰어난 효율성과 강건성으로 가능하게 한다. DTU에서 최신 기술 수준의 성능을 달성하고, Tanks&Temples 및 ETH3D에서의 일반화 능력을 향상시켜 메모리 및 런타임 측면에서 이전 방법들을 능가한다.

ABSTRACT

We present IterMVS, a new data-driven method for high-resolution multi-view stereo. We propose a novel GRU-based estimator that encodes pixel-wise probability distributions of depth in its hidden state. Ingesting multi-scale matching information, our model refines these distributions over multiple iterations and infers depth and confidence. To extract the depth maps, we combine traditional classification and regression in a novel manner. We verify the efficiency and effectiveness of our method on DTU, Tanks&Temples and ETH3D. While being the most efficient method in both memory and run-time, our model achieves competitive performance on DTU and better generalization ability on Tanks&Temples as well as ETH3D than most state-of-the-art methods. Code is available at https://github.com/FangjinhuaWang/IterMVS.

연구 동기 및 목표

• 고해상도 영상과 큰 환경에서 3D CNN 기반 다중 시점 스테레오(MVS) 방법의 비효율성과 확장성 한계를 해결한다.
• 粗-세밀 다중 단계 MVS 방법에서 발생하는 오차 전파 및 제한된 탐색 범위 문제를 극복한다.
• 메모리와 런타임 효율성이 뛰어나면서도 전체 깊이 범위 해상도를 유지하고, 무늬 없는 영역이나 가림 영역과 같은 도전적인 조건에 강건한 방법을 개발한다.
• Tanks&Temples 및 ETH3D와 같은 다양한 벤치마크에서 이전의 학습 기반 방법들이 성능을 발휘하지 못하는 문제를 개선한다.
• 신뢰도 향상과 일致성 향상을 위해 신뢰도 추정 및 시점 가중치 학습을 통합한다.

제안 방법

• 각 픽셀의 깊이 분포를 은닉 상태에 유지하는 GRU 기반의 확률 추정기를 사용하여 전체 3D 확률 볼륨을 저장하지 않는다.
• 각 반복 단계에서 다중 해상도 매칭 특징을 GRU 은닉 상태에 통합하여 깊이 확률 분포를 반복적으로 개선한다.
• 다중 모드 분포 처리를 위한 분류 기반 전략과 서브 픽셀 정밀도 확보를 위한 회귀 기반 전략을 융합한 하이브리드 깊이 추정 전략을 사용한다.
• 기준 영상와 소스 영상 간 공통 가시 영역을 식별하기 위해 픽셀 단위의 시점 가중치를 학습한다. 이는 매칭 신뢰도를 향상시킨다.
• 융합 이전에 신뢰도가 낮은 깊이 추정치를 제거하기 위해 임계값 τ=0.3을 사용한 신뢰도 필터링을 적용한다.
• 다중 시점 간 재투영 일致성 검증을 위해 δ=1 및 ε=0.01를 사용하여 깊이 추정치의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 반복적이고 순환적인 확률 추정기로 3D CNN 기반 방법보다 메모리와 런타임을 더 적게 사용하면서도 고해상도 MVS를 달성할 수 있는가?
• RQ2 GRU 은닉 상태에 깊이 분포를 유지함으로써 다양한 실제 환경에서의 일반화 능력이粗-세밀 방법보다 뛰어나게 되는가?
• RQ3 하이브리드 분류-회귀 기반 깊이 추정 전략이 다중 모드 깊이 분포를 효과적으로 처리하면서도 서브 픽셀 정밀도를 유지할 수 있는가?
• RQ4 학습된 픽셀 단위의 시점 가중치가 가림 영역이나 반사 영역에서 매칭 신뢰도를 얼마나 향상시키는가?
• RQ5 신뢰도 추정을 활용하여 반복적 깊이 개선 과정의 강건성과 효율성을 얼마나 향상시킬 수 있는가?

주요 결과

• IterMVS는 모든 학습 기반 MVS 방법 중에서 메모리 및 런타임 측면에서 가장 높은 효율성을 달성했으며, PatchmatchNet 및 기타 최신 기술을 능가한다.
• DTU 벤치마크에서 IterMVS는 메모리 소비와 추론 시간을 크게 줄이며도 경쟁력 있는 성능을 달성했고, 이전 방법들과 비교해 F-스코어를 동등하거나 초월했다.
• Tanks&Temples 및 ETH3D에서 IterMVS는 PatchmatchNet 및 기타 다중 단계 방법보다 뛰어난 일반화 능력을 보였으며, 더 낮은 노이즈를 가진 재구성 결과를 생성했다.
• 확률 분포 시각화 결과에서 반복적 개선이 局부 최대값을 억제하고 시간이 지남에 따라 단일이고 집중된 피크로 수렴하는 것으로 나타났으며, 이는 추정 정확도 향상에 기여했다.
• 픽셀 단위의 시점 가중치 시각화 결과에서 모델이 공통 가시 영역 및 무늬 있는 영역에는 높은 가중치를, 가림 영역, 반사 영역, 거울 같은 표면에는 낮은 가중치를 할당하는 것을 확인했다.
• τ=0.3를 사용한 신뢰도 필터링은 신뢰할 수 없는 예측을 효과적으로 제거하여 더 깔끔한 최종 깊이 맵과 포인트 클라우드를 제공했다.