[論文レビュー] StyleGAN knows Normal, Depth, Albedo, and More

Anand Bhattad, Daniel McKee+2 more|arXiv (Cornell University)|Jun 1, 2023

Computer Graphics and Visualization Techniques被引用数 6

ひとこと要約

この論文は、StyleGANが、そのようなデータに対する明示的な学習なしに、法線、深度、アルベド、セグメンテーションなどの内在的画像表現を潜在空間に組み込んでいることを示している。固定されたタスク固有の潜在オフセットをノイズベクトルに適用することで、照明変化に対して頑健で、最先端の回帰手法を上回る高品質な内在的画像が生成される。

ABSTRACT

Intrinsic images, in the original sense, are image-like maps of scene properties like depth, normal, albedo or shading. This paper demonstrates that StyleGAN can easily be induced to produce intrinsic images. The procedure is straightforward. We show that, if StyleGAN produces $G({w})$ from latents ${w}$, then for each type of intrinsic image, there is a fixed offset ${d}_c$ so that $G({w}+{d}_c)$ is that type of intrinsic image for $G({w})$. Here ${d}_c$ is {\em independent of ${w}$}. The StyleGAN we used was pretrained by others, so this property is not some accident of our training regime. We show that there are image transformations StyleGAN will {\em not} produce in this fashion, so StyleGAN is not a generic image regression engine. It is conceptually exciting that an image generator should ``know'' and represent intrinsic images. There may also be practical advantages to using a generative model to produce intrinsic images. The intrinsic images obtained from StyleGAN compare well both qualitatively and quantitatively with those obtained by using SOTA image regression techniques; but StyleGAN's intrinsic images are robust to relighting effects, unlike SOTA methods.

研究の動機と目的

• 事前学習済みの生成モデル（例：StyleGAN）が、深度、法線、アルベド、セグメンテーションなどの内在的シーン特性を暗黙的にエンコードしているかどうかを調査すること。
• これらの内在的表現が、再訓練や微調整を一切行わず、潜在空間の操作のみでアクセス可能かどうかを特定すること。
• 最先端の回帰ベース手法と比較して、これらの内在的画像の品質と頑健性を評価すること。
• StyleGANが汎用的な画像プロセッサであるのか、それともシーンの幾何的・光沢的性質を特に対象にしているのかを検証すること。

提案手法

• 事前学習済みのStyleGANの入力潜在ベクトル $\mathbf{w}$ に固定されたタスク固有の潜在コードオフセット $\mathbf{d}_c$ を適用し、内在的画像を生成する：$G(\mathbf{w} + \mathbf{d}_c)$。
• 各内在的タイプ（例：法線、深度、アルベド、セグメンテーション）に対して、オフセット $\mathbf{d}_c$ を学習するために重み付き回帰損失を用い、生成された画像とターゲットの内在的マップとの差を最小化する。
• 内在的画像データに接 触したことがない事前学習済みのStyleGANを用いることで、表現がトレーニングの偶然的アーチファクトではないことを保証する。
• 同じシーンの照明拡張版をStyLitGANで生成し、リライト条件下での内在的表現の頑健性を評価可能にする。
• 定量的（例：平均交差率、角度誤差など）および定性的に、最先端の回帰モデルと比較して生成された内在的画像を評価する。
• 制御実験として、潜在オフセットによる左・右画像の入れ替えを試みるが失敗する。これにより、StyleGANが汎用的な画像変換を実行できないことが示され、モデルが内在的シーン特性をエンコードしていることを裏付ける。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのStyleGANモデルは、微調整や追加学習なしに、法線、深度、アルベドなどの内在的画像を生成できるか？
• RQ2 StyleGANの潜在空間における内在的画像表現は、入力潜在ベクトル $\mathbf{w}$ に依存しないのか、すなわち固定オフセット $\mathbf{d}_c$ がすべての $\mathbf{w}$ に対して一貫して望ましい内在的表現を生成するのか？
• RQ3 照明の変化に対して、StyleGANが生成する内在的画像の品質と頑健性は、最先端の回帰ベース手法と比べてどうか？
• RQ4 StyleGANは汎用的な画像プロセッサなのか、それともシーンの背後にある幾何的・光沢的性質を特に対象にしているのか？
• RQ5 現在のGANインバージョンの限界を考慮しても、生成モデルの潜在空間を用いて、現実世界の画像から内在的画像を抽出できるのか？

主な発見

• StyleGANは、再訓練や微調整を一切行わず、固定されたタスク固有の潜在オフセット $\mathbf{d}_c$ のみを用いて、高品質な内在的画像（法線、深度、アルベド、セグメンテーション）を生成できる。
• StyleGANが生成する内在的画像は照明変化に対して頑健であり、16の照明条件下でも法線の平均角度誤差が安定している。一方、最先端の回帰モデルでは平均8度（最大14度）のずれを示す。
• 定量的比較では、StyleGANが生成するセグメンテーションは、Ade20kベンチマークで大規模なビジョントランスフォーマー（DPT）と同等の性能を示し、質的評価でもラムプやピローなどレアオブジェクトの完全性が優れている。
• 制御実験により、StyleGANが汎用的な画像操作（例：左・右画像の入れ替え）を実行できないことが確認され、モデルが内在的シーン特性をエンコードしているのではなく、汎用的な画像プロセッサとして機能していないことを裏付ける。
• データ拡張や3Dの監視情報なしに、より小さなモデルを用いても、最先端の回帰モデルを上回る照明変化への耐性を示す。
• 結果から、内在的画像表現は偶然的ではないことが示され、リアルな画像を合成する必要性に起因する可能性が高く、画像生成の根幹に位置するものであると考えられる。