[論文レビュー] Material Editing Using a Physically Based Rendering Network

Guilin Liu, Duygu Ceylan+3 more|arXiv (Cornell University)|Aug 1, 2017

Computer Graphics and Visualization Techniques参考文献 13被引用数 6

ひとこと要約

本論文では、1枚の画像から形状、照明、素材を同時に予測し、微分可能で物理に基づくレンダリング層を用いて出力を合成することで、画像ベースの素材編集をエンドツーエンドで行う深層学習フレームワークを提案する。本手法は、合成画像および実画像の両方で最先端の結果を達成し、拡散および鏡面反射素材をサポートする微分可能レンダラーを用いて画像形成プロセスをモデル化することで、視覚的妥当性と一般化性能を顕著に向上させた。

ABSTRACT

The ability to edit materials of objects in images is desirable by many content creators. However, this is an extremely challenging task as it requires to disentangle intrinsic physical properties of an image. We propose an end-to-end network architecture that replicates the forward image formation process to accomplish this task. Specifically, given a single image, the network first predicts intrinsic properties, i.e. shape, illumination, and material, which are then provided to a rendering layer. This layer performs in-network image synthesis, thereby enabling the network to understand the physics behind the image formation process. The proposed rendering layer is fully differentiable, supports both diffuse and specular materials, and thus can be applicable in a variety of problem settings. We demonstrate a rich set of visually plausible material editing examples and provide an extensive comparative study.

研究の動機と目的

• 1枚の画像からの内在的物理的性質（形状、照明、素材）の分離を可能とし、単一画像2Dコンテンツ作成における現実的な素材編集を実現すること。
• 微分可能レンダリング層を用いて前向きの画像形成プロセスをモデル化することで、内在的画像分解における曖昧性を解消すること。
• 合成データセットで学習し、実画像に対して後処理最適化を施すことで、一般化性能と視覚的妥当性を向上させること。
• 実世界のデータに真値アノテーションがなくても、物理的整合性を保ったまま素材転送が可能なエンドツーエンド学習を可能とすること。
• 微分可能レンダラーを深層ネットワークに統合することで、より良い分離と性能が得られることを実証すること。

提案手法

• ネットワークは、入力画像1枚から形状（法線）、照明（環境マップ）、素材（BRDF）を同時に推定するための統合予測ヘッドを用いる。
• これらの予測された内在的特性は、完全に微分可能な物理ベースのレンダリング層に供給され、前向きの画像形成プロセスをシミュレートする。
• レンダリング層は拡散および鏡面反射素材をサポートし、複雑な照明条件をモデル化するために環境マップを用いる。
• 損失関数は、予測された内在的成分におけるL2損失と、レンダリング出力画像における知覚的損失を組み合わせ、視覚的リアリズムを向上させる。
• ネットワークは、多様な素材と照明を備えたレンダリングパイプラインで生成された合成データセットで学習され、実画像への一般化を可能にする。
• 後処理最適化は、予測された初期状態を用いて、非凸最適化により画像再構成誤差を最小化することで、実画像の予測を精緻化する。

実験結果

リサーチクエスチョン

• RQ1 事前仮定なしに、1枚の画像から形状、照明、素材といった内在的画像特性を深層ニューラルネットワークが効果的に分離できるか？
• RQ2 微分可能で物理ベースのレンダリング層を組み込むことで、ブラックボックス特徴ベース手法と比較して、素材編集の品質と妥当性がどのように向上するか？
• RQ3 合成データで学習したネットワークが、複雑な素材と照明を有する現実世界の画像にどの程度一般化できるか？
• RQ4 内在的予測におけるL2損失とレンダリング出力における知覚的損失を組み合わせることで、単独で使用するいずれの損失よりも優れた視覚的結果が得られるか？
• RQ5 初期予測が完璧でない場合でも、実画像に適用された後処理最適化が予測品質を顕著に向上させられるか？

主な発見

• 提案手法は定量的および定性的な評価においてベースラインモデルを上回り、後処理最適化を施した場合、合成データ上で知覚的SSIMが0.9557に達したのに対し、未処理では0.9408であった。
• L2損失と知覚的損失の組み合わせにより、L2損失単体を使用した場合に比べて、よりシャープで現実的な結果が得られ、後者はぼやけた予測を生じた。
• 実画像において後処理最適化を施すことで、予測結果が顕著に向上し、本手法はLombardiら[13]およびベースラインモデルと比較して、視覚的に優れた素材転送を実現した。
• 限定的な照明と素材での合成データでのみ学習したにもかかわらず、ネットワークは実画像における後処理最適化のための強力な初期化を提供し、高品質な編集を可能にした。
• 微分可能レンダリング層により、画像形成の物理的プロセスを介した有効なバックプロパゲーションが可能となり、ネットワークは物理的整合性のある表現を学習できた。
• 本手法は、実画像内における物体間の素材交換を成功裏に実行した（図10）、訓練分布を超えた頑健性と一般化性能を示した。