[논문 리뷰] PHI-MVS: Plane Hypothesis Inference Multi-view Stereo for Large-Scale Scene Reconstruction

Shang Sun, Yunan Zheng외 3명|arXiv (Cornell University)|2021. 04. 13.

Advanced Vision and Imaging참고 문헌 33인용 수 5

한 줄 요약

PHI-MVS는 필터링된 심도 맵에서 마르코프 무작위 필드(MRF)를 통해 평면 가설을 생성하고 선택하여 무문자 영역의 재구성을 향상시키는 새로운 다중 시야 스테레오 파이프라인을 제안한다. 동시에 확장된 컨볼루션 유사 기법을 활용해 스테레오 매칭을 가속화한다. 이 방법은 계산 시간이 다소 증가하는 것과는 달리 ETH3D 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

PatchMatch based Multi-view Stereo (MVS) algorithms have achieved great success in large-scale scene reconstruction tasks. However, reconstruction of texture-less planes often fails as similarity measurement methods may become ineffective on these regions. Thus, a new plane hypothesis inference strategy is proposed to handle the above issue. The procedure consists of two steps: First, multiple plane hypotheses are generated using filtered initial depth maps on regions that are not successfully recovered; Second, depth hypotheses are selected using Markov Random Field (MRF). The strategy can significantly improve the completeness of reconstruction results with only acceptable computing time increasing. Besides, a new acceleration scheme similar to dilated convolution can speed up the depth map estimating process with only a slight influence on the reconstruction. We integrated the above ideas into a new MVS pipeline, Plane Hypothesis Inference Multi-view Stereo (PHI-MVS). The result of PHI-MVS is validated on ETH3D public benchmarks, and it demonstrates competing performance against the state-of-the-art.

연구 동기 및 목표

• 패치메이트 기반 MVS가 무문자 평면 재구성에 실패하는 이유인 비효율적인 유사도 측정 문제를 해결한다.
• 계산 비용을 크게 증가시키지 않으면서 저문자 영역에서의 3D 재구성 완전성을 향상시킨다.
• 정확도를 유지하면서 런타임을 줄이는 효율적인 스테레오 매칭 가속화 기법을 개발한다.
• 평면 가설 추론 및 가속화 기법을 통합한 실용적이고 종단 간(end-to-end) MVS 파이프라인을 구축한다.

제안 방법

• 스테레오 매칭 결과가 열악한 영역에서 필터링된 초기 심도 맵에서 다수의 평면 가설을 생성한다.
• 공간 일관성과 매끄러움을 고려해 각 픽셀의 최적 심도 가설을 선택하기 위해 마르코프 무작위 필드(MRF)를 사용한다.
• MRF 추론 후 이상치 제거를 위해 기하학적 일관성 필터링을 적용한다.
• 스테레오 매칭 과정에서 확장된 컨볼루션 유사 샘플링 전략을 도입해 메모리 액세스를 줄이고 계산을 가속화한다.
• 효율적인 스테레오 매칭을 위해 패치메이트 기반의 이중 단계 심도 초기화 및 공간 확산 프로세스를 활용한다.
• 효율성을 위해 단일 반복으로 TRW 디코딩을 사용해 MRF에 대한 MAP 추론을 수행한다.

실험 결과

연구 질문

• RQ1 평면 가설 추론이 무문자 영역에서 3D 재구성의 완전성에 크게 기여할 수 있는가?
• RQ2 MRF 기반 가설 선택이 단순한 비용 최소화 방식보다 심도 가설 선택에서 우수한 성능을 내는가?
• RQ3 확장된 컨볼루션 유사 샘플링 전략이 정확도 손실을 최소화하면서 스테레오 매칭을 효과적으로 가속화할 수 있는가?
• RQ4 제안된 PHI-MVS 파이프라인은 대규모 벤치마크에서 최신 기술 수준의 MVS 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• PHI-MVS는 ETH3D 트레이닝 세트에서 1cm에서 10cm까지의 모든 허용 오차 수준에서 평균 F1 스코어가 가장 높으며, MRF나 PHI 모듈가 없는 변종보다 뛰어난 성능을 보였다.
• 추가적인 PHI 모듈로 인해 실행 시간이 약 9초 증가했으며, 그래프 구축 단계가 가장 계산 시간이 오래 걸리는 부분이었다.
• 확장된 컨볼루션 유사 가속화 기법 덕분에 심도 맵 추정 시간이 최대 30% 감소했고, 10cm 허용 오차에서 F1 스코어는 단지 0.5% 감소했다.
• ETH3D 고해상도 테스트 세트에서 PHI-MVS는 정확도와 완전성 측면에서 최신 기술 수준의 성능을 달성했으며, 5/5 설정에서 1cm, 2cm, 5cm, 10cm 허용 오차에 대해 각각 F1 스코어 69.17, 82.28, 91.80, 95.63을 기록했다.
• 이미지를 1/4 해상도로 리샘플링하면 1cm 허용 오차에서 F1 스코어가 11.67점 감소했으며, 이는 제안된 가속화 기법이 리샘플링보다 효과적임을 확인한다.
• 이 방법은 특히 다수의 평면 구조를 포함한 실내 환경에서 다양한 시나리오에 대해 뛰어난 강건성을 유지한다.