[논문 리뷰] Polarimetric Inverse Rendering for Transparent Shapes Reconstruction

Mingqi Shao, Chongkun Xia외 2명|arXiv (Cornell University)|2022. 08. 25.

Optical Polarization and Ellipsometry인용 수 7

한 줄 요약

이 논문은 다중 시점 편광 영상에서 투명 물체의 세밀한 3D 형태를 복원하기 위해 편광 특징과 반사율 가중 손실을 활용하는 편광 역재현 프레임워크를 제안한다. 미분 가능 편광 렌더러와 레이 트레이싱을 통한 반사율 가중치를 통합함으로써 재구성 정확도를 향상시키고 과도하게 매끄럽게 만드는 현상을 줄이며, 투명 형상용으로 새로 제작된 편광 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this work, we propose a novel method for the detailed reconstruction of transparent objects by exploiting polarimetric cues. Most of the existing methods usually lack sufficient constraints and suffer from the over-smooth problem. Hence, we introduce polarization information as a complementary cue. We implicitly represent the object's geometry as a neural network, while the polarization render is capable of rendering the object's polarization images from the given shape and illumination configuration. Direct comparison of the rendered polarization images to the real-world captured images will have additional errors due to the transmission in the transparent object. To address this issue, the concept of reflection percentage which represents the proportion of the reflection component is introduced. The reflection percentage is calculated by a ray tracer and then used for weighting the polarization loss. We build a polarization dataset for multi-view transparent shapes reconstruction to verify our method. The experimental results show that our method is capable of recovering detailed shapes and improving the reconstruction quality of transparent objects. Our dataset and code will be publicly available at https://github.com/shaomq2187/TransPIR.

연구 동기 및 목표

• RGB 또는 깊이 데이터만을 사용할 경우 발생하는 투명 3D 형상 복원에서의 과도한 매끄러움 문제를 해결하기 위해.
• 기하학적 세부 정보 향상을 위해 편광 정보를 보완적 특징으로 활용하기 위해.
• 투명 재료의 빛 통과 효과를 고려한, 미분 가능한 편광 렌더링 파이프라인을 개발하기 위해.
• 기준 측정을 가능하게 하기 위해 투명 형상 복원을 위한 첫 번째 다중 시점 편광 데이터셋을 구축하기 위해.
• 각 표면 점에서 반사된 빛의 비율에 기반해 편광 손실을 가중함으로써 재구성 품질을 향상시키기 위해.

제안 방법

• 물체의 기하학적 구조는 다양한 렌더링을 통해 훈련되는 신경 은닉 함수(MLP)를 통해 암시적으로 표현된다.
• 미분 가능한 편광 렌더러는 은닉 형상과 조명 설정에서 합성 편광 영상을 생성한다.
• 반사율 — 각 표면 점에서 반사된 빛의 비율 — 은 레이 트레이싱을 통해 계산되며, 편광 손실의 가중치로 사용된다.
• 가중 편광 손실은 서피스의 매끄럽고 현실적인 기하학적 구조를 강제하기 위해 서피스 거리 함수(SDF) 손실과 결합된다.
• 전체 손실 함수는 실제 투명 물체에서 촬영한 다중 시점 편광 영상들을 사용하여 종단 간 최적화된다.
• 복잡한 투명 형상을 담은 새로운 다중 시점 편광 데이터셋이 제작되어 코드와 함께 공개된다.

실험 결과

연구 질문

• RQ1 RGB 전용 방법에 비해 편광 특징이 투명 3D 형상 복원 품질 향상에 효과적으로 기여할 수 있는가?
• RQ2 반사율 비율이 투명 재료에서 편광 기반 형상 최적화의 신뢰성에 어떤 영향을 미치는가?
• RQ3 제안된 가중 편광 손실이 투명 형상 복원에서 과도하게 매끄럽게 만드는 현상을 어느 정도 감소시키는가?
• RQ4 레이 트레이싱을 통한 반사율 가중치와 함께 미분 가능한 편광 렌더러가 표준 광학 일致성 방법보다 투명 물체에서 더 우수한 성능을 내는가?
• RQ5 시점 수가 제안된 편광 역재현 프레임워크 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 34개 시점 전체 데이터셋에서 카멘 디스턴스(CD) 8.97을 달성하였으며, 편광 특징이 없는 IDR보다 유의미하게 높은 성능(CD: 9.82)을 보였다.
• 절단 실험 결과, 편광 손실를 제거할 경우 CD는 0.85 증가하고 CDN은 234.74 증가하여, 세부 사항 복원에 있어 그 중요성을 확인하였다.
• SDF 손실를 제외할 경우 눈에 띄는 구멍과 윤곽 아티팩트가 발생하여 CDN이 1788.01로 상승하였으며, 표면의 매끄러움을 확보하기 위해 그 중요성을 확인하였다.
• 반사율 가중치를 제거할 경우 접힌 영역에서 잘못된 지시를 받는 현상이 발생하여 CD는 9.51로 상승하고 CDN은 1017.79로 증가하였으며, 신뢰성 있는 편광 정보 활용을 위해 필수적임을 입증하였다.
• 단지 10개의 시점만으로도 표준 IDR보다 우수한 성능을 보였으며, CD: 9.89 대비 11.75로, 제한된 시점에 대한 강건성을 입증하였다.
• 정성적 결과와 절단 실험을 통해, 복잡하고 비정형적인 투명 형상을 세밀한 기하학적 세부 사항까지 성공적으로 재구성하였다.