[論文レビュー] Polarimetric Inverse Rendering for Transparent Shapes Reconstruction

Mingqi Shao, Chongkun Xia+2 more|arXiv (Cornell University)|Aug 25, 2022

Optical Polarization and Ellipsometry被引用数 7

ひとこと要約

本論文は、偏光の手がかりと反射率加重損失を活用して、マルチビューの偏光画像から透明物体の詳細な3D形状を再構築する偏光逆レンダリングフレームワークを提案する。微分可能で偏光レンダラーとレイトレーシングによる反射重みを統合することで、再構築精度を向上させ、過剰に滑らかになる現象を軽減し、透明物体の再構築において最先端の結果を達成した。新しく作成された透明形状向けの偏光データセットを用いて評価した。

ABSTRACT

In this work, we propose a novel method for the detailed reconstruction of transparent objects by exploiting polarimetric cues. Most of the existing methods usually lack sufficient constraints and suffer from the over-smooth problem. Hence, we introduce polarization information as a complementary cue. We implicitly represent the object's geometry as a neural network, while the polarization render is capable of rendering the object's polarization images from the given shape and illumination configuration. Direct comparison of the rendered polarization images to the real-world captured images will have additional errors due to the transmission in the transparent object. To address this issue, the concept of reflection percentage which represents the proportion of the reflection component is introduced. The reflection percentage is calculated by a ray tracer and then used for weighting the polarization loss. We build a polarization dataset for multi-view transparent shapes reconstruction to verify our method. The experimental results show that our method is capable of recovering detailed shapes and improving the reconstruction quality of transparent objects. Our dataset and code will be publicly available at https://github.com/shaomq2187/TransPIR.

研究の動機と目的

• RGBまたは深度データのみを用いた透明3D形状回復において、過剰に滑らかになる再構築問題を解決すること。
• 幾何的詳細の強化に寄与する補助的手がかりとして、偏光情報を活用すること。
• 透明素材における光の透過効果を考慮した微分可能で偏光レンダリングパイプラインの開発。
• ベンチマークの実施を可能にするために、透明形状再構築向けの最初のマルチビュー偏光データセットを構築すること。
• 各表面点における反射光の割合に基づいて、偏光損失を加重することで再構築品質を向上させること。

提案手法

• 物体の幾何は、微分可能レンダリングを用いて訓練されたニューラルインジケート関数（MLP）によって暗黙的に表現される。
• 微分可能な偏光レンダラーが、インジケート形状と照明設定から合成された偏光画像を生成する。
• 反射率（各表面点における光の反射割合）はレイトレーシングにより計算され、偏光損失の重みとして用いられる。
• 加重された偏光損失は、滑らかで現実的である表面幾何を強制する符号付き距離関数（SDF）損失と組み合わせられる。
• 全損失関数は、実際の透明物体から撮影されたマルチビューの偏光画像を用いて、エンドツーエンドで最適化される。
• 複雑な透明形状のマルチビュー偏光データセットが新たに収集され、コードとともに公開された。

実験結果

リサーチクエスチョン

• RQ1 RGBのみの手法と比較して、偏光の手がかりが透明3D形状の再構築品質を効果的に向上させられるか？
• RQ2 反射率が、透明素材における偏光に基づく形状最適化の信頼性にどのように影響するか？
• RQ3 提案された加重偏光損失が、透明形状再構築における過剰な滑らかさをどの程度軽減できるか？
• RQ4 微分可能な偏光レンダラーとレイトレーシングによる反射重みを組み合わせた手法が、透明物体において標準的なフォトメトリック一貫性手法を上回るか？
• RQ5 視点数が、提案された偏光逆レンダリングフレームワークの性能にどのように影響するか？

主な発見

• 提案手法は、34視点の全データセットでチェンファーディスタンス（CD）を8.97に達成し、偏光手がかりなしのIDRと比較して顕著に優れている（CD: 9.82）。
• アブレーションスタディの結果、偏光損失を除去するとCDが0.85上昇し、CDNが234.74上昇し、その重要性が確認された。
• SDF損失を除外すると、明確な穴や輪郭アーチファクトが生じ、CDNが1788.01に上昇し、表面の滑らかさを保つ上でその重要性が示された。
• 反射率加重を除去すると、折りたたまれた領域で誤った最適化が生じ、CDが9.51に上昇し、CDNが1017.79に上昇し、偏光情報の信頼性を高めるために必須であることが示された。
• 10視点のみでも、標準的なIDR（CD: 11.75）を上回る性能を示し、限られた視点数に対してもロバストであることが示された。
• 定性的な結果とアブレーションスタディから、複雑で不規則な透明形状を、微細な幾何的詳細を含めて成功裏に再構築できた。