[논문 리뷰] Improving neural implicit surfaces geometry with patch warping

François Darmon, B. Bascle외 3명|arXiv (Cornell University)|2021. 12. 17.

3D Shape Modeling and Analysis인용 수 7

한 줄 요약

이 논문은 예측된 3D 기하구조를 사용하여 패치 워핑을 통한 다중 시점 사진 일致성 최적화를 통해 신경 암시 표면 재구성 성능을 향상시키는 NeuralWarp를 제안한다. SSIM 유사도를 사용한 이미지 패치 워핑과 소프트 마스크를 통한 시야 및 가림 처리를 통해, 최신 비지도 방법 대비 DTU 및 EPFL 벤치마크에서 3D 재구성 정확도가 20% 이상 향상된다.

ABSTRACT

Neural implicit surfaces have become an important technique for multi-view 3D reconstruction but their accuracy remains limited. In this paper, we argue that this comes from the difficulty to learn and render high frequency textures with neural networks. We thus propose to add to the standard neural rendering optimization a direct photo-consistency term across the different views. Intuitively, we optimize the implicit geometry so that it warps views on each other in a consistent way. We demonstrate that two elements are key to the success of such an approach: (i) warping entire patches, using the predicted occupancy and normals of the 3D points along each ray, and measuring their similarity with a robust structural similarity (SSIM); (ii) handling visibility and occlusion in such a way that incorrect warps are not given too much importance while encouraging a reconstruction as complete as possible. We evaluate our approach, dubbed NeuralWarp, on the standard DTU and EPFL benchmarks and show it outperforms state of the art unsupervised implicit surfaces reconstructions by over 20% on both datasets.

연구 동기 및 목표

• 다중 시점 3D 재구성에서 고주파 무늬를 포착하는 데에 한계가 있는 신경 암시 표면의 정확도를 향상시키기 위해.
• 체적 렌더링만을 사용해 기하구조를 최적화하는 데서 비롯되는 문제를 해결하기 위해, 입력 이미지의 세밀한 세부 정보를 활용하지 못하는 문제를 해결하기 위해.
• 사진 일치도를 직접 최적화할 수 있도록 가능한 기하구조 인식 이미지 워핑 메커니즘을 도입하기 위해.
• 잘못된 재투영으로 인한 오류 기울기를 방지하기 위해 워핑 중에 시야 및 가림을 안정적으로 처리하기 위해.
• 감독 또는 명시적 깊이 감독 없이도 표준 벤치마크에서 뚜렷한 성능 향상을 보여주기 위해.

제안 방법

• 암시적 점유 및 법선 네트워크가 예측한 3D 기하구조를 사용해 소스 시점의 이미지 패치를 기준 시점으로 워핑한다.
• 기준 이미지 평면으로 레이를 따라 3D 점을 평면 장면 근사치를 사용해 투영함으로써 패치 워핑을 수행한다.
• 일조 변화에 덜 민감한 구조적 유사도(SIM)를 사용해 워핑된 패치와 기준 이미지 패치 간의 유사도를 측정한다.
• 기준 픽셀과 소스 시점마다 소프트 시야 마스크를 도입하여 가림되거나 잘못된 재투영의 기여도를 감소시킨다.
• 체적 렌더링 손실과 새로운 패치 워핑 일致성 손실을 조합하여 기하구조 및 색상 네트워크를 함께 최적화한다.
• 어느 소스 시점에서도 유효한 재투영이 없는 픽셀의 손실 기여를 제거하기 위해 시야 마스크를 적용하여 학습 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 패치 워핑을 통한 다중 시점 사진 일치도 최적화가 신경 암시 표면의 기하구조 정확도를 크게 향상시킬 수 있는가?
• RQ2 SSIM 기반 패치 유사도가 비라운드 물질 및 조명 변화에 더 나은 성능을 보일 수 있는가, 픽셀 수준의 강도 차이에 비해?
• RQ3 기하구조 최적화 중에 아티팩트를 유발하지 않도록 기하구조 인식 워핑 중에 시야 및 가림을 효과적으로 모델링할 수 있는가?
• RQ4 패치 수준의 워핑과 픽셀 수준의 워핑 중 어느 것이 재구성 품질 향상에 더 기여하는가?
• RQ5 체적 렌더링과 워핑 일치 손실을 조합한 하이브리드 손실이 비지도 3D 재구성에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• NeuralWarp는 최신 비지도 신경 암시 방법 대비 DTU 및 EPFL 벤치마크의 모든 시나리오에서 평균 20% 이상의 3D 재구성 정확도 향상을 달성한다.
• 전체 방법은 DTU 데이터셋에서 카멘드 거리 0.68을 기록하여 VolSDF(0.85), UNISURF 및 MVSDF를 크게 앞서며 성능을 뛰어나게 한다.
• 패치 수준의 워핑은 픽셀 수준의 워핑 대비 12% 향상된 성능을 기록하여 사진 일치도 최적화에서 맥락적 유사도의 중요성을 입증한다.
• 가림 마스크를 제거하면 성능 저하가 발생하여, 학습 중 잘못된 재투영을 억제하는 데서 이 마스크의 핵심적 역할을 확인한다.
• 제거 실험 결과, 체적 렌더링 손실과 워핑 일치 손실을 조합한 모델이 각각의 손실만 사용할 경우보다 더 우수한 결과를 내며, 전체 모델이 가장 낮은 카멘드 거리를 기록한다.
• 정성적 결과에서는 NeuralWarp가 고주파 무늬와 세밀한 기하학적 세부 정보(예: 가장자리, 표면 패atters)를 효과적으로 유지함을 보여주며, 일반적인 암시 방법에서 자주 흐릿해지는 문제를 해결한다.