[논문 리뷰] Generalized Binary Search Network for Highly-Efficient Multi-View Stereo

Zhenxing Mi, Di Chang외 1명|arXiv (Cornell University)|2021. 12. 04.

Advanced Vision and Imaging인용 수 7

한 줄 요약

이 논문은 깊이 범위에 대한 이진 검색으로 깊이 추정을 공식화함으로써 메모리 사용을 극도로 줄이는 고도로 효율적인 다중 시점 스테레오(MVS)를 위한 일반화된 이진 검색 네트워크인 GBi-Net을 제안한다. 단계별로 몇 개의 깊이 가설만 샘플링하고 오차 내성적인 박스, 분류 및 단계별 기울기 갱신을 사용함으로써, DTU(전체 점수 0.289) 및 Tanks and Temples에서 최신 기술 수준의 정확도를 달성하면서도 메모리 소비가 현저히 낮고 학습 속도가 빠른 성능을 발휘한다.

ABSTRACT

Multi-view Stereo (MVS) with known camera parameters is essentially a 1D search problem within a valid depth range. Recent deep learning-based MVS methods typically densely sample depth hypotheses in the depth range, and then construct prohibitively memory-consuming 3D cost volumes for depth prediction. Although coarse-to-fine sampling strategies alleviate this overhead issue to a certain extent, the efficiency of MVS is still an open challenge. In this work, we propose a novel method for highly efficient MVS that remarkably decreases the memory footprint, meanwhile clearly advancing state-of-the-art depth prediction performance. We investigate what a search strategy can be reasonably optimal for MVS taking into account of both efficiency and effectiveness. We first formulate MVS as a binary search problem, and accordingly propose a generalized binary search network for MVS. Specifically, in each step, the depth range is split into 2 bins with extra 1 error tolerance bin on both sides. A classification is performed to identify which bin contains the true depth. We also design three mechanisms to respectively handle classification errors, deal with out-of-range samples and decrease the training memory. The new formulation makes our method only sample a very small number of depth hypotheses in each step, which is highly memory efficient, and also greatly facilitates quick training convergence. Experiments on competitive benchmarks show that our method achieves state-of-the-art accuracy with much less memory. Particularly, our method obtains an overall score of 0.289 on DTU dataset and tops the first place on challenging Tanks and Temples advanced dataset among all the learning-based methods. The trained models and code will be released at https://github.com/MiZhenxing/GBi-Net.

연구 동기 및 목표

• 딥 러닝 기반 MVS 방법에서 3D 비용 볼륨의 높은 메모리 사용량이 확장성과 학습 효율성에 제한을 주므로 이를 해결한다.
• 이산적 검색 전략—특히 이진 검색—이 MVS에서 효율성과 정확도 사이의 최적의 트레이드오프를 달성할 수 있는지 조사한다.
• 깊이 예측 정확도를 훼손하지 않으면서 단계당 깊이 가설 수를 줄여 더 빠른 학습과 추론을 가능하게 한다.
• 다중 단계 이진 검색 프레임워크에서 분류 오차, 범위를 벗어난 예측, 메모리 효율적인 학습을 다루기 위한 메커니즘을 설계한다.
• 표준 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 모델의 메모리 소비를 극적으로 줄인다.

제안 방법

• MVS를 일반화된 이진 검색 문제로 공식화: 각 단계에서 깊이 범위가 두 개의 박스로 나뉘고, 분류 오차를 처리하기 위해 각 측면에 오차 내성적인 박스를 추가한다.
• 두 박스의 중심점을 대표 깊이 값으로 사용하여 3D 비용 볼륨을 구성함으로써 단계당 가설 수를 최소화한다.
• 범위를 벗어난 예측을 가진 픽셀에 대해 전방 전파를 중단시키고, 그들의 기울기를 역전파에서 제외하는 학습 메커니즘을 도입하여 학습을 안정화시킨다.
• 모든 단계에서 기울기 갱신을 즉시 적용함으로써 누적 방식을 피함으로써 수렴 속도를 가속화하고 최적화의 안정성을 향상시킨다.
• 확률 볼륨을 사용해 다중 단계 간의 광학 일致성(photometric consistency)을 계산하고, 최종 깊이 맵은 일치 점수를 사용해 이상치를 제거한다.
• 일치 점수 계산 이전에 확률 볼륨을 최고 해상도로 업샘플링하여 다중 해상도 보정과 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 이진 검색 전략이 MVS에 효과적으로 적용되어 깊이 가설 수를 최소화하면서도 높은 정확도를 유지할 수 있는가?
• RQ2 메모리 또는 계산 비용을 증가시키지 않고 이진 검색에서 발생하는 분류 오차를 어떻게 완화할 수 있는가?
• RQ3 거시적에서 미세한 단계로 진행되는 이진 검색을 MVS에서 사용할 경우 최적화를 안정화시키기 위해 어떤 학습 메커니즘이 필요한가?
• RQ4 일반화된 이진 검색 프레임워크가 정밀도나 메모리 효율성 측면에서 밀도 있는 또는 거시-미세 샘플링 전략을 초월할 수 있는가?
• RQ5 다양한 단계 간의 광학 일치성이 낮은 가설 수 프레임워크에서 깊이 맵 품질 향상과 이상치 제거에 얼마나 기여할 수 있는가?

주요 결과

• GBi-Net은 DTU 데이터셋에서 최신 기술 수준의 전체 점수 0.289를 달성하여 이전의 모든 학습 기반 MVS 방법을 능가한다.
• 도전적인 Tanks and Temples 고급 벤치마크에서 GBi-Net은 모든 학습 기반 방법 중에서 1위를 차지하여 뛰어난 일반화 능력과 정확도를 입증한다.
• 단계당 몇 개의 깊이 가설만 샘플링함으로써 3D 비용 볼륨 크기를 극도로 낮춰 GPU 메모리 사용량이 현저히 감소한다.
• 즉각적인 기울기 갱신과 가설 공간의 감소로 인해 학습 과정이 더 빠르게 수렴하여 학습 효율성이 향상된다.
• 다중 단계에서 계산된 광학 일치 지도는 특히 깊이 범위가 큰 장면에서 배경 이상치와 노이즈가 많은 예측을 효과적으로 제거한다.
• 정성적 결과는 깊이 맵 품질이 단계 간 빠르게 향상되며, 단계 1에서 단계 8에 이르기까지 일관된 개선을 보여주어 다단계 검색 전략의 효과성을 확인한다.