[논문 리뷰] Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference

Yao Yao, Zixin Luo외 4명|arXiv (Cornell University)|2019. 02. 27.

Advanced Vision and Imaging참고 문헌 24인용 수 15

한 줄 요약

이 논문은 다중화면 스테레오(MVS) 재구성에서 3D 컨볼루션 네트워크(3D CNNs)를 깊이 방향 가중 치환 유닛(GRUs)으로 대체하는 순환 신경망 기반 프레임워크인 R-MVSNet을 제안한다. 이는 깊이 방향으로 비용 맵을 순차적으로 처리함으로써 3D 비용 볼륨을 정규화하는 데 사용되며, 메모리 소비를 세제곱에서 제곱 스텝으로 줄여 기존의 학습 기반 방법으로는 구현이 어려웠던 고해상도, 대규모 MVS 재구성 가능하게 한다.

ABSTRACT

Deep learning has recently demonstrated its excellent performance for multi-view stereo (MVS). However, one major limitation of current learned MVS approaches is the scalability: the memory-consuming cost volume regularization makes the learned MVS hard to be applied to high-resolution scenes. In this paper, we introduce a scalable multi-view stereo framework based on the recurrent neural network. Instead of regularizing the entire 3D cost volume in one go, the proposed Recurrent Multi-view Stereo Network (R-MVSNet) sequentially regularizes the 2D cost maps along the depth direction via the gated recurrent unit (GRU). This reduces dramatically the memory consumption and makes high-resolution reconstruction feasible. We first show the state-of-the-art performance achieved by the proposed R-MVSNet on the recent MVS benchmarks. Then, we further demonstrate the scalability of the proposed method on several large-scale scenarios, where previous learned approaches often fail due to the memory constraint. Code is available at https://github.com/YoYo000/MVSNet.

연구 동기 및 목표

• 딥 러닝 기반 MVS 방법에서 3D CNN 기반의 비용 볼륨 정규화에 따른 높은 메모리 소비 문제를 해결한다.
• 모델 해상도에 따라 메모리 복잡도를 세제곱에서 제곱으로 줄여가며 확장 가능한 고해상도 MVS 재구성을 가능하게 한다.
• 기존의 학습 기반 MVS 방법(MVSNet 등)과 비교해 재구성 품질을 유지하거나 향상시킨다.
• 넓은 깊이 범위를 가진 대규모 장면에서 엔드 투 엔드 학습 기반 MVS의 가능성을 입증한다.
• 표준 벤치마크에서 성능을 희생시키지 않고 3D CNN의 메모리 효율성 없는 대안을 제공한다.

제안 방법

• MVSNet에서 3D CNN 기반의 비용 볼륨 정규화를 깊이 방향으로 순차적으로 처리하는 컨볼루션 가중 치환 유닛(GRU)으로 대체한다.
• GRU를 사용해 3D 비용 볼륨 전역에서 공간적 및 깊이 방향 컨텍스트 정보를 순환적이고 메모리 효율적으로 통합한다.
• 비용 볼륨을 깊이 방향으로 슬라이스 단위로 처리함으로써 온라인 메모리 사용량을 O(H×W×D³)에서 O(H×W×D²)로 감소시킨다.
• MVSNet의 미분 가능한 호모지어니 등장 변환 기법을 활용해 다중 화면 이미지에서 초기 비용 볼륨을 구성한다.
• 최종 포인트 클라우드 품질 향상을 위해 변동성 보정, 광학적 필터링, 기하학적 필터링, 깊이 맵 융합 등의 후처리 단계를 적용한다.
• 고정된 입력 크기로 표준 MVS 벤치마크(DTU, Tanks and Temples, ETH3D)에서 네트워크를 엔드 투 엔드로 훈련하고, 미세조정 없이도 임의의 입력 크기로 배포한다.

실험 결과

연구 질문

• RQ1 순환 아키텍처는 재구성 품질을 유지하거나 향상시키면서도 3D 비용 볼륨 정규화에서 메모리 소비를 줄일 수 있는가?
• RQ2 GRU를 통한 순차적 처리 방식이 고해상도 MVS에 있어 3D CNN 대비 메모리 효율성과 확장성 면에서 어느 정도 뛰어나게 되는가?
• RQ3 기존의 학습 기반 방법이 메모리 제약으로 인해 처리하지 못하던 넓은 깊이 범위를 가진 대규모 MVS 장면을 제안된 방법이 처리할 수 있는가?
• RQ4 DTU, Tanks and Temples, ETH3D와 같은 표준 벤치마크에서 R-MVSNet의 성능은 MVSNet 및 기타 베이스라인과 비교해 어떻게 되는가?
• RQ5 후처리 구성요소(예: 변동성 보정, 필터링)가 제안된 프레임워크에서 최종 재구성 품질에 어떤 영향을 미치는가?

주요 결과

• R-MVSNet는 DTU, Tanks and Temples, ETH3D 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 원본 MVSNet과 비교해 결과가 유사하거나 뛰어나다.
• 해상도 640×512×256인 DTU 데이터셋에서 R-MVSNet는 f_score 0.465를 기록하여 아블레이션 스터디에서 베이스라인 3D CNN 기반 MVSNet를 초월한다.
• 모델 해상도에 따라 런타임 메모리 사용량을 세제곱에서 제곱 스텝으로 줄여 기존의 학습 기반 MVS 방법이 다룰 수 없었던 고해상도 재구성을 가능하게 한다.
• R-MVSNet는 이전의 학습 기반 접근 방식이 메모리 제약으로 인해 처리하지 못했던 Tanks and Temples의 고급 세트와 같은 대규모 장면을 성공적으로 재구성하였다.
• 변동성 보정 및 광학적 필터링과 같은 후처리 구성요소는 재구성 품질을 크게 향상시키며, 융합 없이 0.431에서 전체 파이프라인 적용 시 0.465로 f_score가 상승한다.
• 모델은 미세조정 없이도 다양한 데이터셋에 잘 일반화되어 있으며, DTU에서만 훈련되었음에도 불구하고 Tanks and Temples와 ETH3D에서 강력한 성능을 보였다.