[논문 리뷰] SparseNeuS: Fast Generalizable Neural Surface Reconstruction from Sparse Views

Xiaoxiao Long, Cheng Lin외 3명|arXiv (Cornell University)|2022. 06. 12.

Computer Graphics and Visualization Techniques인용 수 6

한 줄 요약

SparseNeuS는 학습된 기하학적 사전 지식을 활용한 거리 함수(SDF)를 사용하여 2~3장의 입력 뷰로도 높은 품질의 3D 기하 구조를 얻는 빠르고 일반화 능력이 뛰어난 신경 표면 재구성 방법을 제안한다. 다중 수준 기하 추론 프레임워크, 다중 해상도 색상 혼합, 일致성 인식 최적화 기반 미세 조정 기법을 통해 희소한 뷰에서 발생하는 과제를 해결하여 재구성 품질, 효율성, 그리고 새로운 시나리오에 대한 일반화 능력에서 최신 기술들을 능가한다.

ABSTRACT

We introduce SparseNeuS, a novel neural rendering based method for the task of surface reconstruction from multi-view images. This task becomes more difficult when only sparse images are provided as input, a scenario where existing neural reconstruction approaches usually produce incomplete or distorted results. Moreover, their inability of generalizing to unseen new scenes impedes their application in practice. Contrarily, SparseNeuS can generalize to new scenes and work well with sparse images (as few as 2 or 3). SparseNeuS adopts signed distance function (SDF) as the surface representation, and learns generalizable priors from image features by introducing geometry encoding volumes for generic surface prediction. Moreover, several strategies are introduced to effectively leverage sparse views for high-quality reconstruction, including 1) a multi-level geometry reasoning framework to recover the surfaces in a coarse-to-fine manner; 2) a multi-scale color blending scheme for more reliable color prediction; 3) a consistency-aware fine-tuning scheme to control the inconsistent regions caused by occlusion and noise. Extensive experiments demonstrate that our approach not only outperforms the state-of-the-art methods, but also exhibits good efficiency, generalizability, and flexibility.

연구 동기 및 목표

• 밀도 높은 뷰가 필요로 하거나 새로운 시나리오에 대한 일반화 능력이 떨어지는 기존 신경 표면 재구성 방법의 한계를 해결하기 위해.
• 매우 희소한 입력 뷰(최소 2~3장의 이미지)에서도 고품질의 3D 표면 재구성을 가능하게 하기 위해.
• 새로운 시나리오에 대해 각각의 시나리오 재학습 없이도 제로샷 일반화를 달성하기 위해 이미지 특징에서 기하학적 사전 지식을 학습하기 위해.
• 막힘, 노이즈, 복사도 모호성 등의 문제로 인한 희소한 뷰에서의 재구성 강건성을 향상시키기 위해.
• 계층적 기하 추론과 일치성 인식 최적화를 통해 효율성과 정밀도를 동시에 확보하기 위해.

제안 방법

• 폐쇄 표면 재구성을 위해 암시적 표면 표현으로 서명 거리 함수(SDF)를 사용한다.
• 다중 뷰 이미지 특징을 집계하여 일반화 가능한 기하학적 사전 지식을 학습하는 기하 인코딩 볼륨을 도입하여 일반적인 표면 예측을 가능하게 한다.
• 별도의 거친 수준과 세밀한 수준 볼륨을 사용하여 점진적으로 표면 세부 정보를 향상시키는 계층적, 거친 수준에서 세밀한 수준으로의 기하 추론 프레임워크를 구현한다.
• 픽셀 기반 및 패치 기반 혼합을 조합하여 국소적이고 맥락적인 복사도 일관성을 강제하는 다중 해상도 색상 혼합 기법을 적용하여 정확한 새로운 뷰 합성 성능을 확보한다.
• 막힘 또는 노이즈로 인한 불일치하는 투영 영역을 탐지하고 제거하는 일치성 인식 최적화 기반의 미세 조정 기법을 구현하여 강건성을 향상시킨다.
• 기반 지식 초기화를 통한 빠른 네트워크 추론 단계를 수행한 후, 세부 정보 향상을 위한 짧은 시나리오별 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 2~3장의 입력 뷰만으로도 신경 표면 재구성이 강건하고 정확하게 수행될 수 있는가?
• RQ2 각 시나리오별 재학습 없이도 신경 기반 방법이 새로운, 볼 수 없는 시나리오에 효과적으로 일반화될 수 있는가?
• RQ3 희소한 뷰에서 기하학적 사전 지식을 효과적으로 학습하여 재구성 품질과 효율성을 향상시킬 수 있는가?
• RQ4 막힘과 노이즈로 인한 복사도 모호성과 불일치하는 투영 문제를 완화하기 위한 전략은 무엇인가?
• RQ5 계층적, 거친 수준에서 세밀한 수준으로의 기하 추론 프레임워크는 재구성 정밀도를 향상시키면서도 계산 비용을 줄일 수 있는가?

주요 결과

• SparseNeuS는 NeuS와 MVSNerf보다 뚜렷이 높은 재구성 품질을 달성하였으며, 특히 텍스처가 약한 영역과 막힘 영역에서 3장의 입력 이미지로도 뛰어난 성능을 보였다.
• 효율적인 사전 지식 초기화 덕분에 SparseNeuS는 NeuS 대비 7.5배 더 빠르게 수렴하여 최적 결과에 도달하는 데 12분이면 충분했고, 이는 NeuS의 15시간 대비 빠른 속도였다.
• 일치성 인식 최적화 기반의 미세 조정 기법은 왜곡된 기하 구조를 감소시키고, 특히 막힘 또는 노이즈가 있는 영역에서 표면의 깔끔함을 향상시켰다.
• 다중 수준 기하 추론 프레임워크는 먼 샘플을 조기에 제거함으로써 추론 속도를 향상시켜 계산 효율성을 높였으며, 세부 정보 손실 없이도 기능을 유지했다.
• 다중 해상도 색상 혼합 기법은 색상 일관성과 렌더링 정밀도를 향상시켜, 특히 희소한 입력 조건에서 뛰어난 성능을 발휘했다.
• 다양한 데이터셋 평가 결과, 강력한 일반화 능력이 입증되었으며, SparseNeuS는 BlendedMVS 데이터셋에서 훈련된 바 없음에도 불구하고 MVSNerf를 능가했고, COLMAP와 NeuS가 놓친 세부 구조(예:软管)까지 회복하는 데 성공했다.