[논문 리뷰] MVSTER: Epipolar Transformer for Efficient Multi-View Stereo

Xiaofeng Wang, Zheng Zhu외 6명|arXiv (Cornell University)|2022. 04. 15.

Advanced Vision and Imaging인용 수 9

한 줄 요약

MVSTER는 에피포러라 라인 沿해 2D 의미정보와 3D 공간 상관관계를 동시에 모델링하기 위해 에피포러라 트랜스포머를 사용하는 효율적인 다중 시야 스테레오 방법을 제안한다. 이는 추가 네트워크가 필요로 하지 않으며, DTU와 Tanks&Temples에서 각각 34% 및 14%의 상대적 정확도 향상을 달성한다. 또한 MVSNet 및 CasMVSNet 대비 추론 시간을 각각 80% 및 51% 감소시킨다.

ABSTRACT

Learning-based Multi-View Stereo (MVS) methods warp source images into the reference camera frustum to form 3D volumes, which are fused as a cost volume to be regularized by subsequent networks. The fusing step plays a vital role in bridging 2D semantics and 3D spatial associations. However, previous methods utilize extra networks to learn 2D information as fusing cues, underusing 3D spatial correlations and bringing additional computation costs. Therefore, we present MVSTER, which leverages the proposed epipolar Transformer to learn both 2D semantics and 3D spatial associations efficiently. Specifically, the epipolar Transformer utilizes a detachable monocular depth estimator to enhance 2D semantics and uses cross-attention to construct data-dependent 3D associations along epipolar line. Additionally, MVSTER is built in a cascade structure, where entropy-regularized optimal transport is leveraged to propagate finer depth estimations in each stage. Extensive experiments show MVSTER achieves state-of-the-art reconstruction performance with significantly higher efficiency: Compared with MVSNet and CasMVSNet, our MVSTER achieves 34% and 14% relative improvements on the DTU benchmark, with 80% and 51% relative reductions in running time. MVSTER also ranks first on Tanks&Temples-Advanced among all published works. Code is released at https://github.com/JeffWang987.

연구 동기 및 목표

• 기존의 학습 기반 MVS 방법들이 특징 융합을 위해 추가 네트워크를 사용함으로써 발생하는 비효율성과 제한된 3D 일반화 능력을 해결하기 위해.
• 추가적인 학습 가능 파rameter를 도입하지 않고도 에피포러라 라인을 따라 3D 공간 상관관계를 활용하기 위해.
• 계단식 프레임워크에서 단일 시야 깊이 감독과 다중 시야 스테레오를 함께 최적화하여 깊이 추정 정확도를 향상시키기 위해.
• 효율적인 어텐션 메커니즘과 엔트로피 정규화 최적 운반 이론을 통해 계산 비용을 줄이면서도 재구성 품질을 유지 또는 향상시키기 위해.

제안 방법

• 에피포러라 트랜스포머는 교차 어텐션을 사용하여 에피포러라 라인을 따라 데이터 의존적인 3D 연관성을 모델링하며, 기준 카메라 프루스텀에 투영된 여러 시야의 특징을 활용한다.
• 보조 단일 시야 깊이 추정기로 학습 중 2D 특징 의미 정보를 강화하며, 학습 후에는 분리하여 런타임 오버헤드를 방지한다.
• 깊이 추정을 깊이 인식 분류 문제로 공식화하고, 더 정밀한 깊이 맵을 계단 단계 간 전파하기 위해 엔트로피 정규화 최적 운반 이론을 사용한다.
• 엔트로피 정규화 최적 운반 이론을 통한 계단식 구조는 깊이 예측의 점진적 정밀화를 가능하게 하여 최소한의 계산 비용으로 정확도를 향상시킨다.
• FLOPs를 줄이면서도 특징 표현 능력을 유지하기 위해 $3\times3\times1$ 컨볼루션을 사용하는 경량 3D CNN을 적용한다.
• 다중 시야 특징 융합은 기존의 분산 기반 또는 가중 평균 융합을 대체하는 어텐션 기반, 기하학적 인식 융합을 수행하는 에피포러라 트랜스포머를 사용한다.

실험 결과

연구 질문

• RQ1 MVS에서 파rameter 효율적인 어텐션 메커니즘을 사용해 에피포러라 라인을 따라 3D 공간 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 보조 단일 시야 깊이 감독이 런타임 비용 없이 2D 특징 의미 정보를 향상시킬 수 있는가?
• RQ3 엔트로피 정규화 최적 운반 이론이 계단식 MVS 파이프라인에서 더 정확하고 세밀한 깊이 추정을 가능하게 하는가?
• RQ4 제안된 방법이 기존 MVS 네트워크 대비 상당히 감소된 추론 시간으로 SOTA 성능을 달성할 수 있는가?

주요 결과

• MVSTER는 MVSNet 대비 DTU 벤치마크에서 34%의 상대적 정확도 향상을 보이며, 실행 시간은 80% 감소시켰다.
• 동일한 벤치마크에서 CasMVSNet 대비 14%의 상대적 정확도 향상을 기록했고, 추론 시간은 51% 감소시켰다.
• Tanks&Temples-Advanced 벤치마크에서 모든 발표된 방법들 중 1위를 기록하여 뛰어난 일반화 능력과 강건성을 입증했다.
• MVSTER는 MVSNet 및 CasMVSNet 대비 깊이 가설 수를 각각 88% 및 73% 감소시켜 효율성을 크게 향상시켰다.
• 절단 실험 결과, DTU에서 최적 성능을 내기 위해 온도 파ram터 $t_e = 2$ 와 손실 가중치 $\lambda = 3 \times 10^{-4}$ 를 사용할 경우가 최적임을 확인했다.
• DTU, ETH3D, Tanks&Temples에서의 점군 시각화 결과, MVSTER는 다양한 장면와 깊이 범위에서 고품질의 세밀한 재구성 결과를 생성함을 보였다.