[논문 리뷰] Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching

Xiaodong Gu, Zhiwen Fan외 4명|arXiv (Cornell University)|2019. 12. 13.

Advanced Vision and Imaging참고 문헌 54인용 수 65

한 줄 요약

cascade cost volume을 도입하여 다단계로 깊이 범위를 점진적으로 정제하고 다중 해상도 특징 피라미드를 사용하여 메모리와 계산을 줄이면서 고해상도 깊이/디스패리 추정을 가능하게 한다. DTU와 Tanks and Temples에서 최첨단 결과를 입증하며 메모리와 속도 측면에서 주목할 만한 향상을 보인다.

ABSTRACT

The deep multi-view stereo (MVS) and stereo matching approaches generally construct 3D cost volumes to regularize and regress the output depth or disparity. These methods are limited when high-resolution outputs are needed since the memory and time costs grow cubically as the volume resolution increases. In this paper, we propose a both memory and time efficient cost volume formulation that is complementary to existing multi-view stereo and stereo matching approaches based on 3D cost volumes. First, the proposed cost volume is built upon a standard feature pyramid encoding geometry and context at gradually finer scales. Then, we can narrow the depth (or disparity) range of each stage by the depth (or disparity) map from the previous stage. With gradually higher cost volume resolution and adaptive adjustment of depth (or disparity) intervals, the output is recovered in a coarser to fine manner. We apply the cascade cost volume to the representative MVS-Net, and obtain a 23.1% improvement on DTU benchmark (1st place), with 50.6% and 74.2% reduction in GPU memory and run-time. It is also the state-of-the-art learning-based method on Tanks and Temples benchmark. The statistics of accuracy, run-time and GPU memory on other representative stereo CNNs also validate the effectiveness of our proposed method.

연구 동기 및 목표

• 고해상도 MVS 및 스테레오 매칭에서 3D 비용 볼륨의 메모리 및 시간 병목을 해결한다.
• 피처 피라미드를 기반으로 한 거친-to-정교한 cascade cost volume을 제안하여 깊이/디스패리를 점진적으로 정제한다.
• 이전 단계 예측에 의해 주도되는 적응형 깊이 샘플링으로 계산을 줄인다.

제안 방법

• 깊이 범위 Rk가 감소하고 평면 간격 Ik가 감소하는 다단계의 cascade 비용 볼륨을 구성하여 Dk = Rk/Ik를 만족시킨다.
• 다중 스케일 특징을 제공하고 각 단계에서 공간 해상도를 점진적으로 증가시키기 위해 피처 피라미드를 사용한다.
• Warp 연산과 잔여 깊이/디스패리 델타(Δk+1)가 업데이트된 호모그래피 또는 디스패리 매핑을 사용하여 다음 단계의 비용 볼륨을 가이딩한다.
• 다중 단계 손실로 모든 중간 출력을 감독한다: Loss = sum_k λ^k L^k.
• cascade cost volumes를 MVSNet 및 PSMNet과 같은 백본 네트워크에 통합하여 MVSNet+Ours 및 stereo 대응 모델을 형성하고 고해상도 출력을 가능하게 한다.

실험 결과

연구 질문

• RQ1 cascade, coarse-to-fine cost volume이 메모리와 계산을 줄이면서 고해상도에서 깊이/디스패리 정확도를 보전하거나 향상시킬 수 있는가?
• RQ2 이전 단계 깊이 추정치를 사용한 점진적 정제가 MVS 및 스테레오 벤치마크 성능에 어떤 영향을 미치는가?
• RQ3 cascade 비용 볼륨에서 공간 해상도, 단계 수, 가설 평면 간의 트레이드오프는 무엇인가?
• RQ4 Dataset 간 일반화 능력은 얼마나 잘 나타나는가(DTU, Tanks and Temples, KITTI, Scene Flow)?

주요 결과

• MVSNet+Ours가 MVSNet과 결합될 때 DTU에서 1위를 차지했고 전체 품질에서 35.6% 향상을 보였다.
• cascade 비용 볼륨은 동일한 총 깊이 가설을 사용할 때 DTU에서 GPU 메모리를 약 50.6% 감소시키고 런타임을 약 59.3% 감소시켰다.
• Tanks and Temples에서 MVSNet+Ours는 파인튜닝 없이 학습 기반 MVS 방법들 중 최첨단 성능을 달성한다.
• 스테레오 매칭에서 cascade 비용 볼륨은 엔드포인트 오차(EPE)를 기반 방법들(예: PSMNet, GwcNet, GANet11) 대비 최대 0.166 감소시키고 메모리 사용도 감소시킨다.
• 표 수준의 결과에서 cascade를 적용하면 MVSNet의 Acc., Comp., Overall 지표가 향상되고(예: DTU에서 4단계 cascade의 구성 중 일부에서 0.456/0.646/0.551에서 0.325/0.385/0.355로 개선) 메모리/런타임도 크게 줄어든다.