[논문 리뷰] Through the Looking Glass: Neural 3D Reconstruction of Transparent Shapes

Zhengqin Li, Yu-Ying Yeh외 1명|arXiv (Cornell University)|2020. 04. 22.

Advanced Vision and Imaging참고 문헌 54인용 수 10

한 줄 요약

이 논문은 스마트폰으로 촬영한 최소 5~12장의 자유로운 자연 이미지에서 투명 물체의 3차원 재구성을 위한 물리 기반 딥러닝 프레임워크를 제안한다. 굴절과 반사의 미분 가능 렌더링, 입력 이미지와 환경 맵의 노멀 맵을 포함하는 4차원 공간에서 작동하는 새로운 비용 볼륨, 그리고 3차원 점군 재구성에 활용하는 노멀 가이드드 PointNet++을 통합함으로써, 다양한 환경 맵 조건에서도 고해상도 기하 구조 복원을 달성하였으며, 공개된 코드와 데이터를 함께 제공한다.

ABSTRACT

Recovering the 3D shape of transparent objects using a small number of unconstrained natural images is an ill-posed problem. Complex light paths induced by refraction and reflection have prevented both traditional and deep multiview stereo from solving this challenge. We propose a physically-based network to recover 3D shape of transparent objects using a few images acquired with a mobile phone camera, under a known but arbitrary environment map. Our novel contributions include a normal representation that enables the network to model complex light transport through local computation, a rendering layer that models refractions and reflections, a cost volume specifically designed for normal refinement of transparent shapes and a feature mapping based on predicted normals for 3D point cloud reconstruction. We render a synthetic dataset to encourage the model to learn refractive light transport across different views. Our experiments show successful recovery of high-quality 3D geometry for complex transparent shapes using as few as 5-12 natural images. Code and data are publicly released.

연구 동기 및 목표

• 소수의 자유로운 이미지에서 투명 물체의 3차원 재구성 문제를 해결하기 위해.
• 투명 재료에서 발생하는 굴절과 반사로 인한 복잡한 빛의 전달 문제를 극복하기 위해.
• 이미지 형성의 물리 법칙(스넬의 법칙, 프레넬 방정식)을 활용한 데이터 기반 방법을 개발하여 형상 복원 성능을 향상시키기 위해.
• 제어된 촬영 환경 없이도 스마트폰으로 촬영한 이미지만으로도 고품질의 3차원 재구성을 가능하게 하기 위해.
• 재현 가능성과 향후 연구를 위해 대규모 실사적 합성 데이터셋과 공개된 코드를 제공하기 위해.

제안 방법

• 스넬의 법칙과 프레넬 방정식을 사용하여 최대 2번의 반사/굴절 경로를 모델링하는, 굴절 및 반사 빛 경로를 고려한 미분 가능 렌더링 레이어를 도입한다.
• 입력 이미지와 환경 맵의 노멀 맵이 포함된 4차원 공간에서 작동하는 새로운 비용 볼륨을 제안하여, 국소적이지 않은 외관 변화가 존재하는 상황에서도 대응 관계 학습이 가능하도록 한다.
• 학습된 디코더를 사용하여 예측된 노멀을 정규화하는 잠재 공간 최적화 전략을 적용하여 자연스러운 형상의 다양체 위에 위치하도록 보장한다.
• 표면 노멀, 가시성 마스크, 렌더링 오차를 융합하는 맞춤형 기능 매핑을 갖춘 수정된 PointNet++ 아키텍처를 사용하여 3차원 점군을 재구성한다.
• GPU 가속 레이 트레이서를 사용하여 다양한 자연 환경 맵에서 무작위로 생성된 투명 형상을 렌더링하여 합성 데이터셋을 설계한다.
• 재구성 과정 중 특징 집합을 향상시키기 위해, 렌더링 오차 기반 및 내부 전반사 탐지 기반의 뷰 선택 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 스마트폰 카메라로 촬영한 오직 5~12장의 자유로운 자연 이미지만으로도 투명 물체의 3차원 형상을 효과적으로 재구성할 수 있는가?
• RQ2 굴절과 반사의 미분 가능 렌더링을 3차원 재구성 파이프라인에 통합하여 정확도를 향상시킬 수 있는가?
• RQ3 투명 물체의 경우, 입력 이미지, 환경 맵, 노멀 맵 간의 4차원 대응 관계를 처리할 수 있는 비용 볼륨을 설계할 수 있는가?
• RQ4 물리적 사전 지식(Snell의 법칙, 프레넬 방정식)은 실제 이미지에 대한 일반화 능력과 재구성 품질 향상에 어느 정도 기여하는가?
• RQ5 직접 픽셀 단위 최적화보다 잠재 공간에서의 노멀 최적화가 투명 형상의 정확한 표면 기하 구조 복원에 더 나은 성능을 보이는가?

주요 결과

• 이 방법은 스마트폰 카메라로 촬영한 오직 5~12장의 자연 이미지만으로도 복잡한 투명 형상의 고해상도 3차원 기하 구조를 성공적으로 재구성한다.
• 미분 가능 렌더링 레이어 덕분에 굴절과 반사를 정확하게 모델링할 수 있었으며, 이는 노멀 예측 및 최종 3차원 재구성 품질 향상에 크게 기여했다.
• 잠재 공간에서의 노멀 최적화는 자연스러운 형상 다양체에 대한 더 강력한 정규화를 제공함으로써, 직접 픽셀 단위 최적화보다 더 높은 재구성 정확도를 달성한다.
• 제안된 비용 볼륨은 투명 물체에서 발생하는 국소적이지 않은 외관 변화가 존재하는 상황에서도 입력 뷰와 환경 맵 간의 대응 관계를 효과적으로 포착한다.
• 특징 매핑 단계에서 렌더링 오차 기반의 뷰 선택 전략이 평균 융합 및 가장 가까운 뷰 선택보다 3차원 재구성 정확도에서 뛰어난 성능을 보였다.
• 모델은 실제 데이터에 대해 잘 일반화되며, 합성 및 실제 데이터셋에 대한 정성적·정량적 결과를 통해 이를 입증하였고, 공개된 코드와 데이터를 통해 재현 가능성을 확보하였다.