[논문 리뷰] Pyramid Multi-view Stereo Net with Self-adaptive View Aggregation

Hongwei Yi, Zizhuang Wei외 5명|arXiv (Cornell University)|2019. 12. 06.

Advanced Vision and Imaging참고 문헌 45인용 수 8

한 줄 요약

이 논문은 깊이 추정 정확도와 3D 재구성 완전성을 향상시키기 위해 자기 적응형 시점 융합을 갖춘 피라미드 다중시점 스테레오 네트워크인 PVA-MVSNet을 제안한다. 픽셀 단위 및 볼록체 단위의 자기 적응형 융합을 통해 시점별 중요도를 학습하고, 다중 지표 피라미드 융합을 활용함으로써 DTU 데이터셋에서 전체 오차 0.357을 기록하며 최신 기술 수준을 달성하였으며, Tanks and Temples에서도 뛰어난 일반화 성능을 유지한다.

ABSTRACT

n this paper, we propose an effective and efficient pyramid multi-view stereo (MVS) net with self-adaptive view aggregation for accurate and complete dense point cloud reconstruction. Different from using mean square variance to generate cost volume in previous deep-learning based MVS methods, our extbf{VA-MVSNet} incorporates the cost variances in different views with small extra memory consumption by introducing two novel self-adaptive view aggregations: pixel-wise view aggregation and voxel-wise view aggregation. To further boost the robustness and completeness of 3D point cloud reconstruction, we extend VA-MVSNet with pyramid multi-scale images input as extbf{PVA-MVSNet}, where multi-metric constraints are leveraged to aggregate the reliable depth estimation at the coarser scale to fill in the mismatched regions at the finer scale. Experimental results show that our approach establishes a new state-of-the-art on the extsl{ extbf{DTU}} dataset with significant improvements in the completeness and overall quality, and has strong generalization by achieving a comparable performance as the state-of-the-art methods on the extsl{ extbf{Tanks and Temples}} benchmark. Our codebase is at \hyperlink{https://github.com/yhw-yhw/PVAMVSNet}{https://github.com/yhw-yhw/PVAMVSNet}

연구 동기 및 목표

• 기존의 딥러닝 기반 MVS 방법이 매칭 모호성과 불완전한 3D 재구성 문제를 다루는 데에 한계가 있음을 해결하기 위해.
• 다중시점 비용 볼륨에서 시점별 중요도를 학습하여 깊이 추정의 강건성과 완전성을 향상시키기 위해.
• 다중 척도 깊이 맵을 다중 지표 제약 조건을 사용해 융합하여 재구성 품질을 향상시키기 위해.
• 다양한 벤치마크에서 피팅 조정 없이도 잘 일반화되는 효율적인 엔드 투 엔드 프레임워크를 개발하기 위해.

제안 방법

• 시점 간 분산에 따라 동적으로 비용 볼륨을 가중하는 두 가지 자기 적응형 시점 융합 모듈(픽셀 단위 및 볼록체 단위)을 도입하여, 동일 기여를 가정하지 않고 적응형 융합을 가능하게 한다.
• 다중 해상도에서 동시에 깊이 맵을 생성하기 위해 피라미드 다중 척도 이미지 입력 전략을 활용하여 기능 표현력과 강건성을 향상시킨다.
• 광학적 일致성과 기하학적 일치성을 포함한 다중 지표 제약 조건을 적용하여 더 굵은 척도에서 신뢰할 수 있는 깊이 추정을 추출하고, 더 미세한 척도의 깊이 맵에서 잘못된 영역을 보정한다.
• 3D 비용 볼륨에서 최종 깊이 맵을 생성하기 위한 깊이 맵 추정기와 함께, 노이즈와 이방성 값을 억제하기 위해 적응형 융합을 통한 기능 정규화를 적용한다.
• 다중 척도 특징을 순차적 개선 없이 동시에 처리하여 척도 융합 과정에서의 양자화 오차를 최소화한다.
• SfM 기반 시점 순위를 활용하여 자기 적응형 모듈이 고품질의 인접 시점을 우선시하고 먼 또는 저품질의 시점을 억제하도록 이끌어낸다.

실험 결과

연구 질문

• RQ1 신뢰성과 분산에 기반해 시점을 동적으로 가중하는 자기 적응형 시점 융합이 깊이 추정 정확도를 향상시킬 수 있는가?
• RQ2 다중 지표 제약 조건을 갖춘 다중 척도 피라미드 융합은 3D 재구성의 완전성과 강건성을 어떻게 향상시키는가?
• RQ3 제안된 방법은 피팅 조정 없이 DTU와 Tanks and Temples와 같은 다양한 벤치마크에서 일반화 가능한가?
• RQ4 입력 시점 수와 피라미드 수준을 변화시켰을 때 재구성 품질과 효율성에 어떤 영향을 미치는가?
• RQ5 기존 최신 기술 수준의 MVS 네트워크와 비교해 메모리 사용량과 추론 시간에서 어떤 영향을 미치는가?

주요 결과

• PVA-MVSNet은 전체 오차 0.357mm를 기록하며 DTU 데이터셋에서 새로운 최신 기술 수준을 달성하였다.
• VA-MVSNet(0.369mm) 대비 전체 오차를 0.012mm 감소시켜 다중 지표 피라미드 융합의 효과를 입증하였다.
• 다중 지표 피라미드 깊이 융합을 통해 완전성이 평균 7.0% 향상되었으며, 정확도는 0.39% 감소에 그쳐 거의 영향을 받지 않았다.
• 테스트 시 5개의 입력 시점을 사용할 경우 최고의 성능를 기록하였으며, 추가로 7개까지의 시점도 최소한의 성능 향상만을 제공하여 자기 적응형 융합을 통한 효과적인 시점 선택이 가능함을 시사한다.
• 모델은 피팅 조정 없이도 최신 기술 수준의 방법들과 유사한 성능을 보이며, Tanks and Temples 벤치마크에서 뛰어난 일반화 성능을 유지하였다.
• PVA-MVSNet은 1.01초/시점, 24.87GB 메모리로 실행되어 VA-MVSNet 대비 0.1초의 추가 오버헤드만을 보이며, 다중 척도 특징의 효율적 병렬 처리를 입증하였다.