[논문 리뷰] DDR-Net: Learning Multi-Stage Multi-View Stereo With Dynamic Depth Range

Puyuan Yi, Shengkun Tang외 1명|arXiv (Cornell University)|2021. 03. 26.

Advanced Vision and Imaging참고 문헌 34인용 수 6

한 줄 요약

DDR-Net는 이전 예측에서 유도된 불확실성에 기반해 각 픽셀별로 동적 깊이 범위 가설을 적응적으로 결정하는 동적 깊이 범위 추정 모듈(REM)을 제안한다. 이는 다단계 다중시점 스테레오 정확도를 향상시킨다. 지도된 깊이 범위를 정교화하고 진짜 깊이 값의 커버리지를 보장하기 위해 새로운 손실 전략을 활용함으로써, DDR-Net은 계산 비용의 최소 증가로 DTU 벤치마크에서 최고 성능을 달성하며, 이전 방법들보다 더 높은 정확도와 완전성 확보를 이룬다.

ABSTRACT

To obtain high-resolution depth maps, some previous learning-based multi-view stereo methods build a cost volume pyramid in a coarse-to-fine manner. These approaches leverage fixed depth range hypotheses to construct cascaded plane sweep volumes. However, it is inappropriate to set identical range hypotheses for each pixel since the uncertainties of previous per-pixel depth predictions are spatially varying. Distinct from these approaches, we propose a Dynamic Depth Range Network (DDR-Net) to determine the depth range hypotheses dynamically by applying a range estimation module (REM) to learn the uncertainties of range hypotheses in the former stages. Specifically, in our DDR-Net, we first build an initial depth map at the coarsest resolution of an image across the entire depth range. Then the range estimation module (REM) leverages the probability distribution information of the initial depth to estimate the depth range hypotheses dynamically for the following stages. Moreover, we develop a novel loss strategy, which utilizes learned dynamic depth ranges to generate refined depth maps, to keep the ground truth value of each pixel covered in the range hypotheses of the next stage. Extensive experimental results show that our method achieves superior performance over other state-of-the-art methods on the DTU benchmark and obtains comparable results on the Tanks and Temples benchmark. The code is available at https://github.com/Tangshengku/DDR-Net.

연구 동기 및 목표

• 모든 픽셀에 대해 고정된 깊이 범위 가설을 사용하는 코arse-to-fine MVS 네트워크의 한계를 해결하기 위해, 공간적으로 변화하는 깊이 예측 불확실성에 적응하지 못하는 문제를 해결한다.
• 픽셀 단위의 불확실성을 반영한 동적 깊이 범위 추정을 통해 깊이 맵의 정확도와 완전성을 향상시킨다.
• 큰 수신 영역을 통해 글로벌 컨텍스트에서 유도된 불확실성을 포착하는 범위 추정 모듈(REM)을 설계한다.
• 새로운 손실 전략을 개발하여 깊이 범위 가설을 정교화하고, 이후 단계에서 진짜 깊이 값이 항상 커버되도록 보장한다.
• 표준 MVS 벤치마크, 특히 DTU에서 계산 비용의 최소 증가로 최고 성능을 달성한다.

제안 방법

• 다단계 MVS 프레임워크를 사용하며, 범위 추정 모듈(REM)을 첫 번째 및 두 번째 단계에 적용하여 픽셀 단위의 동적 깊이 범위를 예측한다.
• REM은 넓은 수신 영역을 가진 얕은 2D CNN으로, 인접 픽셀의 불확실성 정보를 집계한다.
• 초기 깊이 맵은 고정된 깊이 범위를 사용해 가장粗い 해상도에서 생성되며, 이후 REM에 의해 단계별 동적 깊이 가설로 정교화된다.
• 새로운 손실 전략은 이전 단계의 확률 분포를 새로 샘플된 동적 깊이 범위로 클램프하여, 소프트-아르긴민을 통한 정교화된 깊이 맵 회귀를 가능하게 한다.
• 정교화된 깊이 맵은 REM을 교육하는 데 사용되어, 이후 단계의 깊이 범위 예측에 대한 신뢰도와 정확도를 향상시킨다.
• 최종 단계는 두 번째 단계에서 유도된 동적 범위를 사용해 고해상도 깊이 맵을 생성하며, 추가로 정교화되지 않는다.

실험 결과

연구 질문

• RQ1 고정된 범위를 사용하는 방법에 비해, 동적 깊이 범위 추정이 다중시점 스테레오 재구성의 정확도와 완전성 향상에 기여하는가?
• RQ2 픽셀 단위의 깊이 예측 불확실성을 효과적으로 모델링하고, 이를 단계별 깊이 범위 선택에 이르게 할 수 있는가?
• RQ3 진짜 깊이 값을 동적 깊이 범위 내에 유지하도록 강제하는 손실 전략이 깊이 맵 품질 향상에 기여하는가?
• RQ4 경량이자 얕은 네트워크(REM)가 글로벌 컨텍스트를 활용해 깊이 범위를 효과적으로 추정하고, 후속 성능 향상에 기여할 수 있는가?
• RQ5 제안된 방법은 표준 벤치마크에서 정확도, 완전성, 효율성 측면에서 최고 성능을 내는 MVS 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• DDR-Net은 DTU 벤치마크에서 최고 성능을 달성하였으며, 총점 0.329를 기록하여 베이스라인인 CasMVSNet(0.348)과 UCSNet(0.342)를 초월하였다.
• REM과 새로운 손실 전략을 모두 적용한 모델은 세 번째 단계에서 평균 깊이 범위를 20.91mm에서 19.24mm로 7.9% 감소시켰으며, 진짜 깊이 커버리지율은 83.91%에서 84.35%로 향상되었다.
• REM만을 사용한 모델도 기존 베이스라인 대비 완전성은 0.010, 총점은 0.009 향상시켜 그 효과를 입증하였다.
• 완전한 모델(REM + 손실)은 두 번째 단계에서 추정된 깊이 범위가 진짜 깊이를 커버하는 비율을 73.1%로 기록하여 UCSNet(59.8%)에 비해 훨씬 높은 커버리지 효율성을 확보하였다.
• DDR-Net은 각 단계별로 각각 48, 32, 8개의 깊이 평면만을 사용하면서도 높은 정확도를 유지하였으며, 이는 성능 향상이 더 높은 샘플링 수가 아닌 동적 범위 추정 덕분임을 보여주었다.
• 정성적 결과에서는 텍스처가 적고 반사성이 높은 영역에서도 최고 수준의 포인트 클라우드 재구성 품질을 확보하였다.