[論文レビュー] MaterialGAN: Reflectance Capture using a Generative SVBRDF Model

Yu Guo, Cameron Smith+3 more|arXiv (Cornell University)|Sep 30, 2020

Computer Graphics and Visualization Techniques参考文献 18被引用数 24

ひとこと要約

本論文では、スマートフォンで撮影した3〜7枚のフラッシュ写真から、高精細な空間的に変化するBRDF（SVBRDF）を捉えるGANベースの逆レンダリングフレームワーク、MaterialGANを提案する。StyleGAN2が生成するマテリアル事前分布の潜在空間で最適化することで、入力画像を正確に再現し、マテリアルの変形などの意味的編集を可能にする、現実的で汎用性の高いマテリアルマップを生成する。

ABSTRACT

We address the problem of reconstructing spatially-varying BRDFs from a small set of image measurements. This is a fundamentally under-constrained problem, and previous work has relied on using various regularization priors or on capturing many images to produce plausible results. In this work, we present MaterialGAN, a deep generative convolutional network based on StyleGAN2, trained to synthesize realistic SVBRDF parameter maps. We show that MaterialGAN can be used as a powerful material prior in an inverse rendering framework: we optimize in its latent representation to generate material maps that match the appearance of the captured images when rendered. We demonstrate this framework on the task of reconstructing SVBRDFs from images captured under flash illumination using a hand-held mobile phone. Our method succeeds in producing plausible material maps that accurately reproduce the target images, and outperforms previous state-of-the-art material capture methods in evaluations on both synthetic and real data. Furthermore, our GAN-based latent space allows for high-level semantic material editing operations such as generating material variations and material morphing.

研究の動機と目的

• 少数の画像からの現実的なSVBRDFの再構築という課題に取り組む。これは根本的に未定義であり、不自然な結果を生じやすい。
• 手作業で設計された事前分布や単一のフォワードパスディープニューラルネットワークの制限を克服するため、複雑なマテリアル相関を捉える学習済みの生成的事前分布を導入する。
• 新しい照明や視点条件下でも良好に動作する、高品質で汎用性の高いSVBRDF再構築を実現する。
• 潜在空間の分離性を活用して、マテリアルの変形やバリエーション生成といった高レベルの意味的編集操作を可能にする。
• GANベースの潜在空間を逆レンダリングにおける強力な暗黙的事前分布として用いることの妥当性を実証する。

提案手法

• 空間的に変化するマテリアルマップの大規模データセット上で、StyleGAN2ベースの生成モデル、MaterialGANを学習させ、現実的で多様なSVBRDFパラメータ分布を学習する。
• MaterialGANに微分可能レンダリングレイヤーを適用し、潜在コードからレンダリング画像に至るエンドツーエンド微分可能パイプラインを構築する。
• フラッシュ照明下でのレンダリング画像と撮影画像の間の知覚的誤差およびピxlsレベルの誤差を最小化するように、MaterialGANの潜在ベクトルを最適化する。
• MaterialGANが学習したグローバルおよびローカル相関を活用して逆レンダリングプロセスを正則化し、現実性を保証する。
• StyleGAN2の分離された潜在空間を活用し、マテリアルの変形のための潜在コード間の線形補間などの意味的編集を可能にする。
• 合成データおよび実世界データの両方で手法を検証し、入力画像枚数（1〜7枚）を複数の状況で最先端手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 実世界のSVBRDFでトレーニングされたディープジェネレーティブモデルは、マテリアルキャプチャにおける逆レンダリングの強力な暗黙的事前分布として機能するか？
• RQ2 GANベースのマテリアル事前分布の潜在空間で最適化することで、従来手法と比較して再構築品質と汎用性が向上するか？
• RQ3 GANベースの潜在空間は、マテリアルの変形やバリエーション生成といった意味的編集操作を可能にするか？
• RQ4 本手法の性能は、入力画像枚数に応じてどのように変化するか。特に実世界のキャプチャ条件下でどうか？
• RQ5 従来の手法と比較して、本手法は新しい照明や視点条件下での汎用性がどの程度高いか？

主な発見

• 本手法は合成データおよび実データ評価の両方で最先端手法を上回り、より現実的で正確なSVBRDF再構築を実現する。
• 7枚の入力画像を用いることで、アニメーションレンダリングで示されるように、新しい照明や視点条件下でも高精細な再構築が可能で、良好な汎用性を示す。
• 3枚の入力画像でも妥当な結果が得られ、入力枚数が増えるにつれてアーティファクトが減少する。
• GANベースの潜在空間の活用により、ピクセル空間での単純な線形補間よりも優れた高品質なマテリアル変形とバリエーション生成が可能になる。
• 初期化に強く、Gaoら（2019）のような従来の最適化ベースのアプローチよりも一貫してクリアな結果を生成する。
• MaterialGANが学習したグローバル相関のおかげで、複雑な空間的変化を示すマテリアルを含む多様なマテリアルに対しても、本フレームワークは良好に汎用性を示す。