[논문 리뷰] Full 3D Reconstruction of Transparent Objects

Bojian Wu, Yang Zhou외 3명|arXiv (Cornell University)|2018. 05. 09.

Computer Graphics and Visualization Techniques인용 수 8

한 줄 요약

이 논문은 두 대의 카메라로 실루엣과 빛의 굴절 경로를 촬영하는 턴테이블 설정을 사용하여 투명 물체의 완전한 3차원 재구성에 있어 첫 번째 완전 자동화된 방법을 제안한다. 표면 및 굴절 법선 일관성, 실루엣 일관성, 표면 매끄러움 제약 조건 하에 초기 모델을 반복 최적화함으로써, 정확하고 사진처럼 생생한 복잡한 투명 형상의 재구성을 가능하게 하며, 실제의 굴절 성질을 충실하게 재현한다.

ABSTRACT

Numerous techniques have been proposed for reconstructing 3D models for opaque objects in past decades. However, none of them can be directly applied to transparent objects. This paper presents a fully automatic approach for reconstructing complete 3D shapes of transparent objects. Through positioning an object on a turntable, its silhouettes and light refraction paths under different viewing directions are captured. Then, starting from an initial rough model generated from space carving, our algorithm progressively optimizes the model under three constraints: surface and refraction normal consistency, surface projection and silhouette consistency, and surface smoothness. Experimental results on both synthetic and real objects demonstrate that our method can successfully recover the complex shapes of transparent objects and faithfully reproduce their light refraction properties.

연구 동기 및 목표

• 기존 방법들이 빛의 굴절으로 인해 캡처하지 못하는 바탕이 되는 장기적인 도전 과제인 투명 물체의 완전한 3차원 형상 재구성에 대응하기 위해.
• 수동 칠하기나 침입적 校정이 필요 없도록, 상용 부품을 사용한 비침습적이고 자동적인 데이터 캡처를 가능하게 하기 위해.
• 실루엣과 굴절 데이터를 모두 활용하는 강력한 최적화 프레임워크를 개발하여 정확한 기하학적 형상과 광학적 거동을 복구하기 위해.
• 실제 투명 물체의 빛 굴절 특성을 충실하게 재현하는 사진처럼 생생한 3차원 모델을 생성하기 위해.
• 부분적인 재구성에 그치지 않고, 여러 제약 조건을 통합하여 최종 형상의 완전성과 매끄러움을 보장하기 위해.

제안 방법

• 턴테이블, 하나의 LCD 모니터를 배경 조명원으로 사용하고 두 대의 고정된 카메라를 이용해 실루엣과 레이-레이 대응 관계를 촬영한다.
• 캡처한 실루엣과 굴절 경로를 바탕으로 공간 차단 기법을 통해 초기 거친 모델을 생성한다.
• 표면 및 굴절 법선 일관성, 표면 투영 및 실루엣 일관성, 표면 매끄러움의 세 가지 핵심 제약 조건을 사용해 모델을 반복 최적화한다.
• 실루엣 경계선과 굴절 행동을 유지하면서 기하학적 구조를 향상시키기 위해 새로운 점 통합 공식을 도입한다.
• 두 단계의 데이터 캡처를 수행한다: 앞면 실루엣과 굴절 경로를 위한 하나, 뒷면 대응 관계를 위한 다른 하나로 깊이 추정을 향상시킨다.
• 두 번의 굴절 가정을 위반하는 데이터를 걸러내기 위해 일관성 검사를 적용하여 복잡한 영역에서의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 수동 개입이나 물체 칠하기 없이도 완전 자동화된 방법이 투명 물체의 완전한 3차원 형상을 재구성할 수 있는가?
• RQ2 빛의 굴절 경로와 실루엣을 함께 사용하여 투명 재료의 정확한 표면 기하학 및 법선 일관성을 유추할 수 있는가?
• RQ3 표면 매끄러움과 실루엣 일관성을 어떻게 강제하여 아티팩트를 방지하고 위상적 정확성을 확보할 수 있는가?
• RQ4 이 방법은 복잡한 오목한 부분과 투명한 특성을 갖는 물체, 예를 들어 Bunny 및 Mouse 모델의 경우에 얼마나 잘 작동하는가?
• RQ5 다중 굴절 또는 빈 공간 내부가 발생할 경우 이 방법의 한계는 무엇인가?

주요 결과

• 이 방법은 Bunny와 Mouse의 목과 배와 같은 오목한 영역을 포함한 복잡한 투명 물체의 3차원 형상을 성공적으로 재구성한다. 기존 방법들이 자주 잘 캡처하지 못하는 영역도 포함된다.
• 반복 과정을 거치며 재구성 오차가 크게 감소하며, 약 20회의 반복 후 수렴을 보이며, 오차 곡선도 (그림 14e) 에서 이를 확인할 수 있다.
• 최종 재구성 결과는 실물 사진과의 렌더링 모델 간의 시각적 유사도가 매우 높아 실루엣을 정확히 유지하고 있음을 보여준다. 그림 17과 그림 18에서 이를 확인할 수 있다.
• 모니터 커버리지로 인해 모든 레이-레이 대응 관계를 캡처하지 못하는 제약이 존재하지만(그림 15), 매끄러움 및 일관성 제약 조건 덕분에 높은 정밀도를 유지한다.
• 다중 굴절 영역(예: 그림 18, 빨간색 하이라이트)에서만 아티팩트가 발생하며, 이는 방법이 두 번의 굴절 가정에 의존하고 있음을 확인한다.
• 재구성된 모델은 사진처럼 생생한 렌더링을 구현하며, 다양한 조명 조건에서 실물 이미지와 시각적 품질이 유사하다.