[論文レビュー] InverseRenderNet: Learning single image inverse rendering

Ye Yu, William A. P. Smith|arXiv (Cornell University)|Nov 29, 2018

Advanced Vision and Imaging参考文献 45被引用数 8

ひとこと要約

InverseRenderNet は、自己教師付き学習を用いて、実際の制御不能な屋外画像からアルベド、ノーマルマップ、球面調和照明を推定する、単一画像逆レンダリングを実現する最初のディーブラーニング手法である。マルチビュー・ステレオ（MVS）再構成による幾何的監督と統計的照明事前分布を活用することで、教師なし条件下でも最先端のノーマルマップ推定性能と競争力のあるアルベド推定性能を達成し、1枚の画像から現実的な再ライティングを可能にした。

ABSTRACT

We show how to train a fully convolutional neural network to perform inverse rendering from a single, uncontrolled image. The network takes an RGB image as input, regresses albedo and normal maps from which we compute lighting coefficients. Our network is trained using large uncontrolled image collections without ground truth. By incorporating a differentiable renderer, our network can learn from self-supervision. Since the problem is ill-posed we introduce additional supervision: 1. We learn a statistical natural illumination prior, 2. Our key insight is to perform offline multiview stereo (MVS) on images containing rich illumination variation. From the MVS pose and depth maps, we can cross project between overlapping views such that Siamese training can be used to ensure consistent estimation of photometric invariants. MVS depth also provides direct coarse supervision for normal map estimation. We believe this is the first attempt to use MVS supervision for learning inverse rendering.

研究の動機と目的

• 教師なしの制御不能な屋外シーンにおける単一画像逆レンダリングの不定問題を解決すること。
• 自己教師付き学習を用いて、実世界の画像からアルベド、ノーマルマップ、照明をエンドツーエンドで学習すること。
• マルチビュー・ステレオ（MVS）再構成を、単一画像推定の曖昧性を克服する幾何的監督の源として導入すること。
• 自然な球面調和照明に関する統計的事前分布を構築し、学習プロセスを正則化すること。
• 合成データやファインチューニングを一切用いずに、複雑な現実世界のシーンに一般化可能なエンドツーエンドの逆レンダリングシステムを実証すること。

提案手法

• 完全畳み込みニューラルネットワークが、入力として1枚のRGB画像から拡散アルベドとノーマルマップを回帰する。
• 推定されたアルベドとノーマルマップから、最小二乗法で最適な球面調和照明係数を計算する。
• 微分可能なレンダラを用いて、予測されたアルベド、ノーマル、照明から入力画像を再構築し、光度損失を用いて自己教師付き学習を実現する。
• MVS をオフラインで大規模な画像コレクションに適用し、深度とポーズを回復させ、重複する視点間での光度不変量をクロスプロジェクションすることで、シアン型学習を可能にする。
• MVS の深度マップがノーマルマップ推定に粗い監督を提供し、幾何的整合性を向上させる。
• 実世界の球面調和係数から学習した自然な照明に関する統計的事前分布を用いて、照明推定を正則化する。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークは、教師なし条件下で、制御不能な実画像1枚からの逆レンダリングを学習できるか？
• RQ2 マルチビュー・ステレオ再構成は、単一画像逆レンダリングのための有効な幾何的監督を提供できるか？
• RQ3 複数の視点間の光度不変量をシアン型学習を用いて、アルベドおよびノーマル推定の整合性を強制できるか？
• RQ4 自然な照明に関する統計的事前分布を組み込むことで、逆レンダリングの現実性と正確性が向上するか？
• RQ5 得られたネットワークは、1枚の画像から安定的かつ現実的な再ライティング結果を生成できるか？

主な発見

• MegaDepth ベンチマークにおいて、ノーマルマップ推定で最高性能を達成し、平均角誤差は 37.7°、中央値は 34.8° を記録した。
• IIW データセットでファインチューニングを行わない手法の中では2番目の性能を達成し、アルベド推定において DSSIM 0.201、MSE 0.0170 を達成した。
• 新しい照明条件を用いても、実際的な再ライティング結果を生成でき、逆レンダリング出力の安定性と現実性を示した。
• MVS 監督の導入により、ノーマルマップ推定性能が顕著に向上し、このような監督を用いないベースラインとの性能差が明確に示された。
• 統計的照明事前分布の導入により、より現実的な照明推定が可能となり、再ライティング結果の一貫性からその有効性が裏付けられた。
• 複雑な現実世界のシーンに優れた一般化性能を示し、制御不能な屋外環境向けの最初の成功したエンドツーエンドの逆レンダリングシステムを実現した。