[논문 리뷰] MVS2D: Efficient Multi-view Stereo via Attention-Driven 2D Convolutions

Zhenpei Yang, Zhile Ren외 2명|arXiv (Cornell University)|2021. 04. 27.

Advanced Vision and Imaging참고 문헌 41인용 수 4

한 줄 요약

MVS2D는 단일 영역 2D 컨볼루션 네트워크에 다중 영역 제약 조건을 통합하기 위해 주목성 메커니즘을 활용하는 매우 효율적인 다중 시야 스테레오 방법을 제안한다. 이는 기존 방법 대비 최대 48배 빠른 속도로 최신 기술 수준의 깊이 추정 정확도를 달성한다. 이 방법은 계산 비용을 최소화하면서도 다중 시야 간 특징을 에피포라 라인 주목성 기반으로 융합한다.

ABSTRACT

Deep learning has made significant impacts on multi-view stereo systems. State-of-the-art approaches typically involve building a cost volume, followed by multiple 3D convolution operations to recover the input image's pixel-wise depth. While such end-to-end learning of plane-sweeping stereo advances public benchmarks' accuracy, they are typically very slow to compute. We present \ouralg, a highly efficient multi-view stereo algorithm that seamlessly integrates multi-view constraints into single-view networks via an attention mechanism. Since \ouralg only builds on 2D convolutions, it is at least $2 imes$ faster than all the notable counterparts. Moreover, our algorithm produces precise depth estimations and 3D reconstructions, achieving state-of-the-art results on challenging benchmarks ScanNet, SUN3D, RGBD, and the classical DTU dataset. our algorithm also out-performs all other algorithms in the setting of inexact camera poses. Our code is released at \url{https://github.com/zhenpeiyang/MVS2D}

연구 동기 및 목표

• 최신 기술 수준의 3D 컨볼루션 기반 다중 시야 스테레오(MVS) 방법의 높은 계산 비용을 해결하면서 정확도를 유지하거나 향상시키기.
• 3D 비용 볼륨이나 전역적 장면 표현에 의존하지 않고 단일 영역 2D 컨볼루션 신경망 아키텍처에 다중 시야 기하 제약 조건을 원활하게 통합하기.
• 주목성 메커니즘 내에서 다중 척도 특징 융합을 통해 잘못된 카메라 자세에 대한 강건성을 향상시키기.
• 어려운 벤치마크에서 깊이 추정 품질을 손상시키지 않고도 높은 추론 속도를 달성하기.

제안 방법

• 에피포라 라인 주목성 모듈을 도입하여, 참조 영상의 쿼리 픽셀에 대해 다수의 참조 영상에서 에피포라 라인 沿해 특징을 융합한다.
• 네트워크 전반에 걸쳐 오직 2D 컨볼루션을 사용하여 고비용 3D 컨볼루션을 피하고 더 빠른 추론을 가능하게 한다.
• 학습 가능한 깊이 인코딩을 도입하여 깊이 가설을 표현하며, 네트워크와 함께 공동 최적화하여 특징 표현을 향상시킨다.
• 에ncoder-디코더 아키텍처에 다중 척도 주목성 모듈을 적용하여 카메라 자세가 정확하지 않을 경우의 강건성을 향상시킨다.
• 표준 2D U-Net 백본에 주목성 모듈을 통합하여 기존 단일 영역 깊이 추정 프레임워크에 쉽게 통합할 수 있도록 한다.
• 단일 영역 및 다중 영역 특징의 조기 융합을 통해 중간 표현에 3D 기하 정보를 풍부하게 한다.

실험 결과

연구 질문

• RQ1 3D 비용 볼륨 구축 없이 오직 2D 컨볼루션만을 사용하여 최신 기술 수준의 정확도를 유지하면서도 추론 속도를 크게 향상시킬 수 있는가?
• RQ2 에피포라 라인을 따라 작동하는 주목성 메커니즘이 명시적인 3D 비용 볼륨 구축 없이 다중 시야 특징을 얼마나 효과적으로 융합하는가?
• RQ3 다중 척도 주목성 기법이 노이즈가 있거나 정확하지 않은 카메라 자세 조건에서 얼마나 강건성을 향상시키는가?
• RQ4 MVS 작업에서 고정 인코딩(코사인 또는 선형)에 비해 엔드 투 엔드 학습 가능한 깊이 인코딩이 더 나은 성능을 내는가?

주요 결과

• MVS2D는 ScanNet, SUN3D, RGBD, DTU 벤치마크에서 최신 기술 수준의 성능을 달성했으며, 노이즈가 있는 자세 조건에서도 ScanNet에서 AbsRel 0.059, DTU에서 0.059를 기록했다.
• DTU에서 640×480 해상도에서 MVS2D는 36.4 FPS로 작동하며, PatchmatchNet 대비 2.2배, MVSNet 대비 4.7배 더 빠른 속도를 기록했다.
• DTU 검증 세트에서 MVS2D는 RMSE 14.769 mm를 기록했고, 오차가 1.0 mm 이하인 비율은 71.8%로, PatchmatchNet(32.348 mm RMSE)를 능가했다.
• 제거 분석 결과, 학습 가능한 깊이 인코딩이 AbsRel을 균일한 경우(0.139)에서 0.059로 향상시켜 성능 향상에 결정적인 역할을 함을 입증했다.
• 노이즈가 있는 자세 설정에서 다중 척도 주목성 기반 MVS2D(Ours-robust)는 AbsRel 0.059를 기록했으며, MVSNet(0.094) 및 DPSNet(0.094)를 모두 앞서는 강력한 강건성을 보였다.
• SOTA 정확도를 유지하면서도 NAS 대비 48배, DPSNet 대비 39배, MVSNet 대비 10배 더 빠른 속도를 기록했다.