[논문 리뷰] Seeing Through the Glass: Neural 3D Reconstruction of Object Inside a Transparent Container

Jinguang Tong, Sundaram Muthu외 3명|arXiv (Cornell University)|2023. 03. 24.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 투명한 용기 안의 물체의 고해상도 기하 구조를 복원하기 위해 상호작용하는 유리-공기 인터페이스에서의 빛 반사 및 굴절을 명시적으로 모델링하는 새로운 신경 3D 재구성 방법인 ReNeuS를 제안한다. 장면을 내부 및 외부 하위 공간으로 분할하고 하이브리드 레이 트레이싱 및 볼륨 렌더링 전략을 사용함으로써, ReNeuS는 합성 및 실재 데이터셋 모두에서 기존 방법들인 NeuS와 IDR보다 최신 기술 수준(SOTA)을 달성하며, 곤충의 날개나 촉수와 같은 미세한 구조를 재구성하는 데 특히 뛰어나다.

ABSTRACT

In this paper, we define a new problem of recovering the 3D geometry of an object confined in a transparent enclosure. We also propose a novel method for solving this challenging problem. Transparent enclosures pose challenges of multiple light reflections and refractions at the interface between different propagation media e.g. air or glass. These multiple reflections and refractions cause serious image distortions which invalidate the single viewpoint assumption. Hence the 3D geometry of such objects cannot be reliably reconstructed using existing methods, such as traditional structure from motion or modern neural reconstruction methods. We solve this problem by explicitly modeling the scene as two distinct sub-spaces, inside and outside the transparent enclosure. We use an existing neural reconstruction method (NeuS) that implicitly represents the geometry and appearance of the inner subspace. In order to account for complex light interactions, we develop a hybrid rendering strategy that combines volume rendering with ray tracing. We then recover the underlying geometry and appearance of the model by minimizing the difference between the real and hybrid rendered images. We evaluate our method on both synthetic and real data. Experiment results show that our method outperforms the state-of-the-art (SOTA) methods. Codes and data will be available at https://github.com/hirotong/ReNeuS

연구 동기 및 목표

• 투명한 용기에 봉인된 물체의 3D 재구성 문제를 해결하기 위해, 다중 반사 및 굴절으로 인한 심각한 영상 왜곡을 다루는 것.
• 굴절 인터페이스로 인해 단일 시점 가정이 위반될 경우 기존의 구조-운동으로부터의 복원(Structure-from-Motion) 및 신경 암시적 방법이 실패하는 문제를 해결하기 위한 방법 개발.
• 레진이나 유리와 같은 투명한 봉입물에 보관된 취약한 박물관 샘플(곤충 또는 조직 등)을 고품질로 3D 재구성할 수 있도록 하는 것.
• 반사 및 굴절을 모두 고려하는 물리 기반 렌더링 전략을 사용하여 공기 및 유리와 같은 다중 매질 간의 빛 상호작용을 명시적으로 모델링하는 것.
• 합성 벤치마크와 새로 촬영한 실재 세계의 투명한 봉입물 샘플 데이터셋을 기반으로 방법을 평가하는 것.

제안 방법

• 장면을 두 개의 하위 공간으로 나누어, 투명한 용기 내부의 공간(내부 공간)과 주변 공기의 공간(외부 공간)으로 구분하고 각각 별도로 모델링한다.
• 내부 하위 공간 내 기하 및 외관을 인코딩하기 위해 기반 신경 암시적 표현으로 NeuS를 사용한다.
• 내부 물체에 대해 볼륨 렌더링를 적용하고, 유리-공기 인터페이스를 따라 빛 경로를 모델링하기 위해 레이 트레이싱을 조합하는 새로운 하이브리드 렌더링 전략을 도입하여 다중 반사 및 굴절을 시뮬레이션한다.
• 실제 영상과 렌더링된 영상 간의 광도 손실을 최소화하여 기하 및 외관을 최적화하며, 잘못된 경계를 억제하기 위해 전이율 기반의 희박성 우선순위를 적용한다.
• 투명한 용기의 기하 및 자세는 알려져 있다고 가정하고, 배경 조명은 균일하고 환경광으로 가정하여 문제를 단순화한다.
• 최종 3D 메쉬는 다중 시점 영상으로 끝내기 전에 끝내기 전에 학습된 신경 암시적 함수로부터 재구성된다.

실험 결과

연구 질문

• RQ1 다중 반사 및 굴절이 영상에 심각한 왜곡을 유도할 때, 신경 암시적 방법이 투명한 용기 안의 물체의 3D 기하를 정확히 재구성할 수 있는가?
• RQ2 내부 및 외부 하위 공간을 명시적으로 모델링하는 것이 전체 장면을 단일 매질로 간주하는 것보다 재구성 품질을 얼마나 향상시키는가?
• RQ3 볼륨 렌더링와 레이 트레이싱을 조합한 하이브리드 렌더링 전략이 복잡한 빛 상호작용을 다룰 때 단일 경로 또는 단일 매질 가정에 비해 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 다중 반사 및 굴절을 모델링하면 얇은 날개나 촉수와 같은 미세한 기하 구조를 더 잘 재구성할 수 있는가?
• RQ5 실제 환경에서 투명한 용기 기하 및 균일한 조명 가정 위반에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 합성 데이터셋에서 ReNeuS는 Chamfer-L1 손실 16.80을 기록하여 NeuS(+)의 22.07과 Ours(w/o Trans Loss)의 19.08보다 유의미하게 뛰어나다.
• 실재 데이터셋에서 ReNeuS는 곤충의 날개와 촉수와 같은 미세한 구조를 성공적으로 재구성하지만, IDR는 상자 마스크의 볼록 껍질을 넘어서는 어떤 것도 재구성하지 못한다.
• 절단 실험 결과, 전체 ReNeuS 모델은 메시 복구에서 실패 사례가 전혀 없었고, 전이율 손실가 없는 버전은 두 건의 실패, NeuS+는 세 건의 실패를 기록했다.
• 하이브리드 렌더링 전략은 잘못된 빛 경로 모델링으로 인한 위상 경계를 효과적으로 억제하며, NeuS+가 일관된 내부 메시를 생성하지 못한 실패 사례에서 이를 확인할 수 있다.
• 용기 없이도 데이터가 제공되는 경우(즉, w/o box), ReNeuS는 NeuS를 능가하며, 반사 유도 가상 시점이 재구성의 강인성을 향상시킨다는 것을 시사한다.
• 전이율 기반의 희박성 우선순위는 특히 모서리 및 가장자리와 같은 복잡한 영역에서 임의의 면을 크게 감소시킨다.