[논문 리뷰] Deep Stereo using Adaptive Thin Volume Representation with Uncertainty Awareness

Shuo Cheng, Zexiang Xu외 5명|arXiv (Cornell University)|2019. 11. 27.

Advanced Vision and Imaging참고 문헌 66인용 수 19

한 줄 요약

이 논문은 다중 시야 RGB 영상에서 고해상도이고 정확한 3D 재구성을 가능하게 하는 새로운 계단식 스테레오 네트워크인 UCS-Net을 제안한다. 각 단계에서 분산 기반의 불확실성 추정치를 활용해 동적으로 소형이고 국소적인 깊이 볼륨을 구성함으로써, 기존의 학습 기반 MVS 방법보다 훨씬 적은 깊이 평면 수와 낮은 메모리 사용량으로도 뛰어난 깊이 정확도와 완전성을 달성한다.

ABSTRACT

We present Uncertainty-aware Cascaded Stereo Network (UCS-Net) for 3D reconstruction from multiple RGB images. Multi-view stereo (MVS) aims to reconstruct fine-grained scene geometry from multi-view images. Previous learning-based MVS methods estimate per-view depth using plane sweep volumes with a fixed depth hypothesis at each plane; this generally requires densely sampled planes for desired accuracy, and it is very hard to achieve high-resolution depth. In contrast, we propose adaptive thin volumes (ATVs); in an ATV, the depth hypothesis of each plane is spatially varying, which adapts to the uncertainties of previous per-pixel depth predictions. Our UCS-Net has three stages: the first stage processes a small standard plane sweep volume to predict low-resolution depth; two ATVs are then used in the following stages to refine the depth with higher resolution and higher accuracy. Our ATV consists of only a small number of planes; yet, it efficiently partitions local depth ranges within learned small intervals. In particular, we propose to use variance-based uncertainty estimates to adaptively construct ATVs; this differentiable process introduces reasonable and fine-grained spatial partitioning. Our multi-stage framework progressively subdivides the vast scene space with increasing depth resolution and precision, which enables scene reconstruction with high completeness and accuracy in a coarse-to-fine fashion. We demonstrate that our method achieves superior performance compared with state-of-the-art benchmarks on various challenging datasets.

연구 동기 및 목표

• 밀도 있는 평면 스위프 볼륨의 높은 메모리 및 계산 비용으로 인해 학습 기반 다중 시야 스테레오(MVS)에서 깊이 정확도와 완전성 간의 상충 관계를 해결한다.
• 기본적인 평면 스위프 볼륨에서 고정된 깊이 평면 표현 방식의 한계를 극복하여, 정확도를 확보하기 위해 많은 평면이 필요하고 고해상도 재구성에 장애가 되는 문제를 해결한다.
• 적응형·불확실성 기반 공간 분할을 통해 국소 깊이 범위를 점진적으로 하위 분할함으로써 군집에서 세분화된 깊이 보정을 가능하게 한다.
• 샘플링 효율성과 예측 정밀도를 향상시키기 위해 미분 가능하고 불확실성 인식형 볼륨 구축 메커니즘을 도입한다.
• 낮은 메모리 및 계산 오버헤드로 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 세 단계의 계단식 네트워크를 제안한다: 첫 번째 단계는 저해상도에서 64개의 평면을 사용하는 작은 표준 평면 스위프 볼륨을 사용하고, 이후 단계는 고해상도와 더 적은 평면 수를 가진 적응형 박층 볼륨(ATVs)을 사용한다.
• 이전 단계의 예측 깊이 맵을 중심으로 하여, 각 픽셀의 분산 기반 불확실성 추정치에 기반한 깊이 간격을 정의함으로써 ATVs를 구성한다.
• 다양한 해상도의 분산 기반 신뢰도 간격을 사용하여, 픽셀별로 세밀하고 국소화된 깊이 범위를 생성한다.
• 모든 단계에서 비용 볼륨 구축에 사용되는 깊은 특징을 생성하기 위해 다중 척도 특징 추출기를 활용한다.
• 각 단계의 비용 볼륨을 처리하기 위해 3D U-Nets를 적용하고, 세 단계 모두에 깊이 감독을 사용해 엔드 투 엔드 학습을 수행한다.
• 다음 단계의 입력 볼륨에 불확실성 추정치를 통합하여, 네트워크가 최적의 깊이 커버리지 및 해상도 보정을 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 적응형·불확실성 인식형 깊이 볼륨 구축 방식이 학습 기반 다중 시야 스테레오의 효율성과 정확도를 향상시킬 수 있는가?
• RQ2 표준 밀도 있는 평면 스위프 볼륨에 비해, 적응형 박층 볼륨에서 적은 수의 깊이 평면을 사용할 경우 깊이 해상도와 완전성 측면에서 어떤 차이가 있는가?
• RQ3 분산 기반 불확실성 추정치가 깊이 범위의 효과적이고 세밀한 공간 분할을 얼마나 잘 이끌 수 있는가?
• RQ4 불확실성 인식형 볼륨 적응 기반의 군집에서 세분화된 프레임워크가 낮은 메모리 소비로 뛰어난 재구성 품질을 달성할 수 있는가?
• RQ5 특히 무문자 영역이나 물체 경계와 같은 도전적인 영역에서, 예측된 불확실성 간격은 참값 깊이를 얼마나 잘 커버하는가?

주요 결과

• DTU 및 Tanks and Temple 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여 뛰어난 깊이 정확도와 완전성을 입증하였다.
• 두 번째 ATVs의 중앙 깊이 샘플링 거리는 각각 0.38mm와 0.34mm이며, 이는 기존 방법(예: MVSNet의 256개 평면 기준 1.99mm)보다 현저히 높은 수준이다.
• 두 ATVs의 평균 불확실성 간격 길이는 각각 12.01mm와 2.71mm이지만, 이상치에 민감한 점을 감안할 때 중앙값이 더 대표적인 지표이며, 대부분의 픽셀에서 높은 샘플링 효율성을 나타낸다.
• 두 ATVs의 경우 각각 94.7%와 85.2%의 픽셀에서 참값 깊이가 불확실성 간격에 포함되었으며, 불확실성 추정의 높은 신뢰성을 보여준다.
• 단계가 진행될수록 불확실성이 감소하는 경향을 보였으며, 3단계 ATV에서 2단계 ATV보다 더 많은 흰색(낮은 불확실성) 영역이 관찰되어 예측 정밀도 향상을 시사한다.
• 큰 불확실성(빨간색) 또는 잘못된 커버리지(파란색)를 가진 픽셀은 주로 물체 경계, 기울어진 표면 또는 무문자 영역에 위치해 있으며, 깊이 추정의 기존 문제와 일치한다.