[논문 리뷰] Non-local Recurrent Regularization Networks for Multi-view Stereo

Qingshan Xu, Martin R. Oswald외 3명|arXiv (Cornell University)|2021. 10. 13.

Advanced Vision and Imaging참고 문헌 35인용 수 5

한 줄 요약

이 논문은 다중 시야 입체 영역에서 장거리 깊이 상관관계를 깊이 주의 메커니즘과 게이트형 순환 블록을 통해 포착하는 비국소 순환 정규화 네트워크인 NR2-Net을 제안한다. 이는 DTU 및 Tanks and Temples 벤치마크에서 3차원 재구성 정확도와 완전성 측면에서 뚜렷한 향상을 이룬다. 이 방법은 전역적 시점 맥락을 깊이 차원에서 모델링하면서도 이차적 메모리 복잡도를 유지함으로써 기존 순환 및 3차원 필터링 방법을 초월한다.

ABSTRACT

In deep multi-view stereo networks, cost regularization is crucial to achieve accurate depth estimation. Since 3D cost volume filtering is usually memory-consuming, recurrent 2D cost map regularization has recently become popular and has shown great potential in reconstructing 3D models of different scales. However, existing recurrent methods only model the local dependencies in the depth domain, which greatly limits the capability of capturing the global scene context along the depth dimension. To tackle this limitation, we propose a novel non-local recurrent regularization network for multi-view stereo, named NR2-Net. Specifically, we design a depth attention module to capture non-local depth interactions within a sliding depth block. Then, the global scene context between different blocks is modeled in a gated recurrent manner. This way, the long-range dependencies along the depth dimension are captured to facilitate the cost regularization. Moreover, we design a dynamic depth map fusion strategy to improve the algorithm robustness. Our method achieves state-of-the-art reconstruction results on both DTU and Tanks and Temples datasets.

연구 동기 및 목표

• 기존 순환 비용 정규화 방법이 깊이 차원을 따라 장거리 상관관계를 포착하는 데에 한계가 있음을 해결하기 위해.
• 깊이 방향의 전역 시점 맥락을 모델링하여 3차원 재구성 정확도와 완전성을 향상시키기 위해.
• 종종 완전하지 못한 포인트 클라우드를 초래하는 고정 임계값에 대한 의존도를 줄이기 위해.
• 대규모 시점에 스케일링 가능한 메모리 효율적이면서도 강력한 정규화 프레임워크를 설계하기 위해.
• 깊이 확률과 일致성에 대해 동시에 고려함으로써 깊이 맵의 강력하고 적응형 융합을 가능하게 하기 위해.

제안 방법

• 깊이 샘플링 공간을 겹치지 않는 블록으로 나누어 국소적 비국소 상호작용을 가능하게 한다.
• 확장된 샘플링과 자기 주의 메커니즘을 사용하여 비인접 깊이 평면 간의 고수준 특징을 추출하는 깊이 주의 모듈을 도입한다.
• 깊이 블록 간의 잠재 특징을 전파하고 업데이트하기 위해 게이트형 순환 단위(GRUs)를 사용하여 깊이 차원에서 장거리 상관관계를 모델링한다.
• GRU의 셀 상태는 이전 블록들로부터의 전역 맥락에 기반하여 업데이트되어, 비용 맵의 장거리 정규화를 가능하게 한다.
• 깊이 일치도를 기반으로 깊이 확률을 동적으로 설정하는 전략을 통해 포인트 클라우드의 완전성을 향상시키는 동적 깊이 맵 융합 전략을 제안한다.
• 깊이 감독과 일致성 정규화를 결합한 다중 작업 손실을 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 깊이 블록 내에서의 비국소 상호작용이 국소 순환 방법을 초월해 비용 볼륨 정규화를 향상시킬 수 있는가?
• RQ2 깊이 블록 간의 게이트형 순환 모델링이 깊이 차원에서 전역 시점 맥락을 효과적으로 포착할 수 있는가?
• RQ3 깊이 확률과 일치도에 기반한 동적 융합 전략이 더 완전하고 강력한 3차원 재구성을 이끌 수 있는가?
• RQ4 대규모 데이터셋에서 제안된 방법이 3차원 필터링 및 표준 순환 방법에 비해 정확도와 메모리 효율성 측면에서 어떻게 비교되는가?
• RQ5 모델이 저조도 및 반사성 영역을 포함한 다양한 시점에 일반화 가능한가?

주요 결과

• NR2-Net은 DTU 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법에 비해 정확도와 완전성 측면에서 향상되었다.
• Tanks and Temples 데이터셋에서 NR2-Net은 대규모 3차원 재구성에서 기존 순환 및 3차원 필터링 기반 기준선을 초월하는 뛰어난 성능을 보였다.
• 절단 분석 결과, 비국소 순환 정규화 및 동적 융합 구성 요소가 모두 재구성 품질 향상에 기여하는 것으로 확인되었다.
• 동적 융합 전략은 깊이 일치도를 기반으로 임계값을 적응적으로 조정함으로써 포인트 클라우드의 완전성을 높였으며, 잘못된 음성 결과를 줄였다.
• GRU 셀 상태의 시각화 결과, 모델이 모호한 공간 영역에서도 배경과 전경 영역을 효과적으로 구분하는 것을 확인했으며, 이는 효과적인 전역 맥락 모델링을 의미한다.
• NR2-Net은 3차원 필터링 방법보다 훨씬 적은 GPU 메모리를 사용하며, 해상도에 따라 이차적 복잡도로 증가하지만 삼차적 복잡도로 증가하지 않아 메모리 효율성이 뛰어나다.