[論文レビュー] Inverse Transport Networks

Chengqian Che, Fujun Luan+3 more|arXiv (Cornell University)|Sep 28, 2018

Computer Graphics and Visualization Techniques参考文献 53被引用数 25

ひとこと要約

この論文は、入力画像を再現できるように予測されたシーンパラメータが物理的に妥当であることを保証するため、微分可能レンダリングと物理に配慮した正則化を組み合わせた逆輸送ネットワーク（ITNs）を導入する。主な貢献は、確率的勾配降下法によるエンドツーエンド学習を可能にする汎用的微分可能レンダラーであり、従来の学習ベースの手法と比較して、未観測の幾何形状や照明条件への一般化性能が顕著に向上する。

ABSTRACT

We introduce inverse transport networks as a learning architecture for inverse rendering problems where, given input image measurements, we seek to infer physical scene parameters such as shape, material, and illumination. During training, these networks are evaluated not only in terms of how close they can predict groundtruth parameters, but also in terms of whether the parameters they produce can be used, together with physically-accurate graphics renderers, to reproduce the input image measurements. To en- able training of inverse transport networks using stochastic gradient descent, we additionally create a general-purpose, physically-accurate differentiable renderer, which can be used to estimate derivatives of images with respect to arbitrary physical scene parameters. Our experiments demonstrate that inverse transport networks can be trained efficiently using differentiable rendering, and that they generalize to scenes with completely unseen geometry and illumination better than networks trained without appearance- matching regularization.

研究の動機と目的

• 純粋にデータ駆動型の逆レンダリング手法に伴う限界、すなわち未観測の幾何形状や照明条件への一般化性能の低さを是正すること。
• 従来の物理ベースの逆レンダリングが計算的に非現実的であるのを補うために、深層学習と微分可能レンダリングを統合すること。
• 複雑な光輸送効果（例えば、相互反射やサブサーフェススキャッタリング）を考慮しつつ、勾配計算が可能な汎用的微分可能レンダラーの開発。
• 予測されたパラメータとレンダリング画像の整合性を強制する正則化された目的関数を用いて逆ネットワークを学習すること。
• 多バウンス光輸送を伴う困難な逆散乱問題において、優れた一般化性能を示すこと。

提案手法

• 入力画像測定値から物理的シーンパラメータ（形状、材料、照明など）を予測するように訓練されたニューラルネットワークアーキテクチャである逆輸送ネットワーク（ITNs）を提案する。
• 幾何形状、材料、照明を含む任意のシーンパラメータを通過する勾配をサポートする汎用的微分可能モンテカルロレンダラーを導入する。
• 光輸送のパス積分表現を用いて、相互反射やサブサーフェススキャッタリングのような複雑なグローバルイルミネーション効果をモデル化する。
• 真値パラメータの監視と画像再構築損失を組み合わせた正則化された損失関数を最適化するために確率的勾配降下法を用いる。
• 微分可能レンダラーを活用して、レンダリングプロセスを通じて画像再構築誤差を逆伝播させ、エンドツーエンド学習を可能にする。
• 同質な逆散乱問題にこのフレームワークを適用し、非常に多パス光輸送を伴う困難な逆問題を解く。

実験結果

リサーチクエスチョン

• RQ1 微分可能レンダリングを用いて、真値と一致するだけでなく、前方レンダリングによって入力画像を再現できる物理的に妥当なシーンパラメータを学習可能な深層学習アーキテクチャを構築できるか？
• RQ2 微分可能レンダリングによる画像再構築整合性の組み込みが、未観測の幾何形状や照明条件への一般化性能にどのように影響するか？
• RQ3 微分可能レンダラーは、相互反射やサブサーフェススキャッタリングのような複雑な光輸送効果を処理しつつ、効率的な勾配計算を可能にするか？
• RQ4 画像整合性を強制する正則化された学習が、標準的な教師あり学習と比較して逆レンダリングタスクの性能を向上させるか？
• RQ5 逆輸送ネットワークは、学習時に見られなかった新しい形状や照明設定のシーンに対し、どの程度一般化できるか？

主な発見

• 標準的な学習ベースの手法とは異なり、外観一致正則化なしに訓練された場合と比較して、逆輸送ネットワーク（ITNs）は未観測の幾何形状や照明条件への一般化性能が顕著に優れている。
• 微分可能レンダラーにより、相互反射やサブサーフェススキャッタリングのような複雑な光輸送現象に対しても、確率的勾配降下法によるエンドツーエンド学習が可能である。
• パラメータ誤差と画像再構築誤差の両方を最小化する正則化された学習目的関数により、より物理的に妥当で一般化可能な予測が得られる。
• 同質な逆散乱問題における実験では、ITNsが複雑で多バウンスな光輸送下でも、シーンパラメータの再構築においてベースラインを上回る性能を示した。
• 完全に未観測の幾何形状と照明条件を伴うシーンに対しても、ITNsは効果的に一般化しており、テストデータにおける分布シフトに対しても頑健であることが示された。
• 微分可能レンダリングの使用により、任意のシーンパラメータを通過する勾配計算が可能となり、このフレームワークは多様な逆レンダリング問題に応用可能である。