[論文レビュー] DeLight-Net: Decomposing Reflectance Maps into Specular Materials and Natural Illumination

Stamatios Georgoulis, Konstantinos Rematas+4 more|arXiv (Cornell University)|Mar 27, 2016

Computer Graphics and Visualization Techniques参考文献 1被引用数 17

ひとこと要約

DeLight-Net は、自然光下の球体の1枚の2次元画像（反射率マップ）を、スペキュラーな材料パラメータ（フォンモデル）と高ダイナミックレンジ（HDR）または低ダイナミックレンジ（LDR）の照明マップに分解する深層学習手法を提案する。合成データのみで訓練された本手法は、リライトと材料再割り当てのタスクにおいて最先端の性能を達成し、材料変更の指標において従来手法を最大3倍上回り、実写画像に対しても高い一般化性能を示す。

ABSTRACT

In this paper we are extracting surface reflectance and natural environmental illumination from a reflectance map, i.e. from a single 2D image of a sphere of one material under one illumination. This is a notoriously difficult problem, yet key to various re-rendering applications. With the recent advances in estimating reflectance maps from 2D images their further decomposition has become increasingly relevant. To this end, we propose a Convolutional Neural Network (CNN) architecture to reconstruct both material parameters (i.e. Phong) as well as illumination (i.e. high-resolution spherical illumination maps), that is solely trained on synthetic data. We demonstrate that decomposition of synthetic as well as real photographs of reflectance maps, both in High Dynamic Range (HDR), and, for the first time, on Low Dynamic Range (LDR) as well. Results are compared to previous approaches quantitatively as well as qualitatively in terms of re-renderings where illumination, material, view or shape are changed.

研究の動機と目的

• 反射率マップをその背後にある材料および照明成分に分解する困難な逆問題に対処すること。
• 分解後、照明、材料、形状を独立して操作することで高忠実度の再レンダリングを可能にすること。
• 実写の反射率マップを含む合成および実写の両方のマップに一般化可能なデータ駆動型手法を構築し、実写のアノテーションを一切必要としないこと。
• 深層学習を活用して複雑な自然光およびスペキュラー反射の統計をモデル化することで、既存の内在的画像分解手法を改善すること。
• 合成データのみで訓練された CNN が、実写の反射率マップの写真に対して効果的に一般化できることを示すこと。

提案手法

• 2本のブランチを持つ CNN アーキテクチャを採用し、1枚の反射率マップ画像から、スペキュラー材料パラメータ（フォンモデル：拡散、スペキュラー、粗さ）と高分解能の球状照明マップを同時に予測する。
• ネットワークは、多様な自然光および材料条件下でレンダリングされた大規模な合成データセットにのみ訓練される。
• トレーニングデータには、HDR および LDR の両方の反射率マップが含まれており、真値の材料および照明ラベルが付与されている。
• 畳み込み層が持つ空間的インダクティブバイアスを活用することで、照明（例：窓、空の勾配）や材料特性の微細なディテールを保持する。
• 推論速度と安定性を向上させるため、グリーディ推論戦略の検討も行われたが、ジョイントアーキテクチャがより優れた性能を示した。
• 推定された成分を用いて、新しい照明、材料、視点条件下での反射率マップのエンドツーエンド再合成が可能である。

実験結果

リサーチクエスチョン

• RQ1 合成データのみで訓練された深層 CNN は、実際の反射率マップを物理的に妥当な材料および照明成分に正確に分解できるか？
• RQ2 ダイナミックレンジ圧縮の影響を受ける LDR 画像に対して、この手法の一般化性能はどの程度高いか？
• RQ3 予測された照明および材料パラメータを用いて、新しい照明、材料、形状条件下でのシーン再レンダリングがどの程度可能か？
• RQ4 このような特徴（例：空の勾配、窓のハイライト）に対して明示的な監視がなくても、ネットワークは現実的な照明パターンを学習できるか？
• RQ5 定量的指標および視覚的品質の両面で、本手法は最先端のアプローチと比較してどの程度優れているか？

主な発見

• 再合成評価において、HDR および LDR データの両方で、DeLight-Net は最先端の手法（LN NP [37]）を MSE および DSSIM 指標で大きく上回った。
• 材料変更の再レンダリング品質において、ベースラインと比較して3倍の向上を達成し、材料操作への強い一般化性能を示した。
• 驚くべきことに、LDR を用いた照明推定が HDR を用いた推定よりも MSE が低かった。これは露出に起因するホワイトニングが極端なピクセル値への過適合を軽減している可能性がある。
• ジョイント CNN アーキテクチャ（Joint.）が、すべての指標で最高の性能を示し、ミラー材料の再合成において MSE が HDR で 0.933、LDR で 0.950 であった。独立推定およびグリーディ変種を上回った。
• 視覚的結果から、モデルが空の勾配や窓のハイライトといった微細な照明ディテールを再構築できており、新しい材料および照明条件下でも妥当な再レンダリングを生成していることが確認された。
• 本手法は、実写の反射率マップに対しても効果的に一般化できており、25種類の材料と4種類の自然光条件下で、真値スキャンを備えた独自のデータセットを用いて検証された。