[논문 리뷰] Dense Hybrid Recurrent Multi-view Stereo Net with Dynamic Consistency Checking

Jianfeng Yan, Zizhuang Wei외 6명|arXiv (Cornell University)|2020. 07. 21.

Advanced Vision and Imaging참고 문헌 31인용 수 10

한 줄 요약

이 논문은 정확하고 메모리 효율적인 밀도 있는 3D 재구성에 적합한 경량 밀도 하이브리드 순환 다중 시야 스테레오 네트워크인 D² HC-RMVSNet을 제안한다. 동적 일致성 검사 기반으로 정교한 성능을 달성하였으며, Tanks and Temples에서 최신 기술 수준(SOTA) 성능을 기록했고, R-MVSNet 대비 19.4%의 메모리 절감을 이룬다.

ABSTRACT

In this paper, we propose an efficient and effective dense hybrid recurrent multi-view stereo net with dynamic consistency checking, namely $D^{2}$HC-RMVSNet, for accurate dense point cloud reconstruction. Our novel hybrid recurrent multi-view stereo net consists of two core modules: 1) a light DRENet (Dense Reception Expanded) module to extract dense feature maps of original size with multi-scale context information, 2) a HU-LSTM (Hybrid U-LSTM) to regularize 3D matching volume into predicted depth map, which efficiently aggregates different scale information by coupling LSTM and U-Net architecture. To further improve the accuracy and completeness of reconstructed point clouds, we leverage a dynamic consistency checking strategy instead of prefixed parameters and strategies widely adopted in existing methods for dense point cloud reconstruction. In doing so, we dynamically aggregate geometric consistency matching error among all the views. Our method ranks extbf{$1^{st}$} on the complex outdoor extsl{Tanks and Temples} benchmark over all the methods. Extensive experiments on the in-door DTU dataset show our method exhibits competitive performance to the state-of-the-art method while dramatically reduces memory consumption, which costs only $19.4\%$ of R-MVSNet memory consumption. The codebase is available at \hyperlink{https://github.com/yhw-yhw/D2HC-RMVSNet}{https://github.com/yhw-yhw/D2HC-RMVSNet}.

연구 동기 및 목표

• 딥 러닝 기반 MVS 방법에서의 다운샘플링과 고정된 융합 전략으로 인한 메모리 비효율성과 정확도 손실 문제를 해결하기 위해.
• 재구성 품질을 훼손하지 않고 고해상도, 전체 크기의 깊이 맵 예측을 가능하게 하기 위해.
• 편의성 있는 고정 파rameter 일치성 검사 대신 동적이고 시야에 적응하는 방법으로 깊이 맵 융합의 강건성을 향상시키기 위해.
• 재구성 정확도와 완전성을 유지하거나 향상시키면서도 메모리 소비를 줄이기 위해.
• 고해상도 이미지에서부터 대규모 시나리오까지 확장 가능하고 실용적인 밀도 있는 3D 재구성 구현을 가능하게 하기 위해.

제안 방법

• 원본 이미지 해상도에서 밀도 있고 다중 척도의 특징 맵을 추출하기 위해 경량 DRENet(Dense Reception Expanded) 모듈을 제안한다.
• U-Net 스위프 연결과 LSTM 게이팅을 결합하여 3D 비용 볼륨을 깊이 맵으로 효율적으로 정규화하는 HU-LSTM(Hybrid U-LSTM) 모듈을 도입한다.
• 다중 시야 이미지에서 3D 비용 볼륨을 구축하기 위해 미분형 호모지어티 워핑을 활용하여 엔드 투 엔드 학습을 가능하게 한다.
• 모든 시야에서 기하학적 매칭 오차를 적응적으로 융합하여 신뢰할 수 없는 깊이 값 필터링을 위한 동적 일치성 검사 알고리즘을 설계한다.
• 고정 임계값이나 히우리스틱을 사용하지 않고, 동적 오차 융합 기반의 비학습 후처리 융합 전략을 사용한다.
• 무거운 3D-CNN을 피하고 고해상도 특징 학습을 경량화하여 메모리 프로파일을 줄임으로써 추론 효율성을 최적화한다.

실험 결과

연구 질문

• RQ1 경량이고 고해상도 특징 추출기로 인해 메모리 비용을 증가시키지 않고도 밀도 있는 MVS 재구성 성능 향상을 이룰 수 있는가?
• RQ2 3D-CNN이나 GRUs에 비해 메모리 소비를 줄이면서도 하이브리드 LSTM-U-넷 아키텍처가 3D 비용 볼륨을 효과적으로 정규화할 수 있는가?
• RQ3 장면 복잡도에 따라 적응하는 동적 일치성 검사가 고정 파ram터 융합 전략에 비해 깊이 맵 품질과 완전성 측면에서 뛰어난 성능을 보일 수 있는가?
• RQ4 제안된 방법이 Tanks and Temples와 같은 복잡한 실외 벤치마크에서 최신 기술 수준 성능을 달성하면서도 낮은 메모리 사용량을 유지할 수 있는가?
• RQ5 이 방법이 고해상도 이미지 및 대규모 3D 재구성 작업에 얼마나 잘 스케일업할 수 있는가?

주요 결과

• 제안된 D² HC-RMVSNet은 도전적인 Tanks and Temples 벤치마크에서 1위를 기록하여 이전 모든 방법을 압도한다.
• DTU 데이터셋에서, R-MVSNet 대비 메모리 소비를 19.4%로 줄이며 최신 기술 수준 방법과 경쟁 가능한 성능을 달성한다.
• DRENet 모듈은 표준 2D CNN 기반 아키텍처에 비해 더 낮은 메모리와 추론 시간으로도 전체 해상도에서 정확한 특징 추출을 가능하게 한다.
• HU-LSTM 모듈은 순차적 처리를 통해 다중 척도의 맥락을 효과적으로 융합함으로써 3D-CNN 및 GRU 기반 대안 대비 깊이 맵 품질을 크게 향상시킨다.
• 동적 일치성 검사는 Tanks and Temples에서 f-score를 57.55에서 59.20으로 향상시켜 다양한 시나리오에서 강력한 일반화 능력과 강건성을 입증한다.
• 전체 해상도 깊이 맵 예측(예: 1600×1200)을 6.6GB의 메모리로 구현하여 고해상도 입력에 대한 실용적 배포를 가능하게 한다.