[論文レビュー] Make It So: Steering StyleGAN for Any Image Inversion and Editing

Anand Bhattad, Viraj Shah+2 more|arXiv (Cornell University)|Apr 27, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

Make It So は、潜在的スタイル空間（W）ではなくノイズ空間（Z）で動作するGAN逆問題化手法を提案する。これにより、より優れた再構成精度と編集の一貫性が達成される。潜在的コード z と生成器重み θ′ を同時に最適化することで、PTI よりも5倍の再構成精度と10倍の編集品質を達成し、1つのベッドルームで訓練されたStyleGANモデルを用いて、顔、車、動物などドメイン外の画像に対しても一般化可能である。

ABSTRACT

StyleGAN's disentangled style representation enables powerful image editing by manipulating the latent variables, but accurately mapping real-world images to their latent variables (GAN inversion) remains a challenge. Existing GAN inversion methods struggle to maintain editing directions and produce realistic results. To address these limitations, we propose Make It So, a novel GAN inversion method that operates in the $\mathcal{Z}$ (noise) space rather than the typical $\mathcal{W}$ (latent style) space. Make It So preserves editing capabilities, even for out-of-domain images. This is a crucial property that was overlooked in prior methods. Our quantitative evaluations demonstrate that Make It So outperforms the state-of-the-art method PTI~\cite{roich2021pivotal} by a factor of five in inversion accuracy and achieves ten times better edit quality for complex indoor scenes.

研究の動機と目的

• 実世界の画像、特にインテリアの部屋のような複雑なシーンにおける正確で編集の一貫性を持つ GAN 逆問題化の課題に取り組む。
• Z 空間で動作させることで W 空間での逆問題化に比べて編集の一貫性を犠牲にせず、再構成精度を高める既存手法の限界を克服する。
• 1つのドメイン特化型 StyleGAN モデルを用いて、顔、動物、車両などのドメイン外画像においても編集方向の一般化を可能にする。
• 潜在的コード z と生成器重み θ′ を同時に学習する共同最適化フレームワークを開発し、逆問題化の忠実度と編集の保持を向上させる。
• トレーニング分布とは異なるドメインの画像を逆問題化する際でも、アンカーロスとサポートロスを用いた Z 空間の逆問題化が、意味的編集方向を保持できることを示す。

提案手法

• 本手法は、ピボット w の微調整にとどまらず、ノイズベクトル z と生成器重み θ′ を同時に最適化することで、実画像を潜在空間に逆問題化する。
• 編集ベクトル s が異なる画像間で潜在空間内で整合するように、意味的意味を保持するためのアンカーロスを導入する。
• ドメイン外入力に対しても、逆問題化された画像に適用された編集が意味的で現実的であることを保証するため、サポートロスを用いる。
• 細部の回復を改善するため、最大1000イテレーションまで延長された最適化スケジュールを採用する。
• StyleGAN の内在的な画像事前分布を活用し、再トレーニングやドメイン特化の適応なしに、ゼロショットでのドメイン外画像編集を可能にする。
• Z 空間で動作させることで、編集方向がより安定的かつ転送可能であるため、精度と編集の一貫性のトレードオフを回避する。

実験結果

リサーチクエスチョン

• RQ1 Z 空間における GAN 逆問題化は、W 空間手法に比べて顕著に高い再構成精度とより優れた編集の一貫性を達成できるか？
• RQ2 z と生成器重み θ′ の共同最適化は、標準的な微調整手法に比べ、より強固で一般化可能な逆問題化と編集を実現するか？
• RQ3 1つのドメイン（例：ベッドルーム）で訓練された1つの StyleGAN モデルが、顔、動物、車両などのドメイン外画像を的確に逆問題化し、編集できるか？
• RQ4 アンカーロスとサポートロスは、多様な画像分布間で編集の意味的整合性をどのように維持するか？
• RQ5 最適化スケジュールを延長することで、複雑なシーンにおける逆問題化の忠実度と詳細回復がどの程度向上するか？

主な発見

• Make It So は、知覚的および L2 再構成誤差を用いて測定したところ、最先端の PTI メソッドに比べて5倍の高い再構成精度を達成した。
• 本手法は、複雑なインテリアシーンにおいて編集品質を10倍向上させ、照明の再設定や色調の変更など、より現実的で意味的整合性のある編集を可能にした。
• 顔、車両、動物などドメイン外の画像が、1つのベッドルームで訓練された StyleGAN モデルを用いて的確に逆問題化され、現実的に編集可能であり、これは従来の手法にはない能力である。
• アブレーションスタディの結果、アンカーロスとサポートロスの両方が不可欠であることが確認された。いずれかを除去すると、編集の一貫性または再構成精度が低下し、完全なパイプラインが最良の結果をもたらした。
• 延長された最適化（1000イテレーション）を用いることで、テーブルランプやテクスチャなど高周波数領域の詳細回復が顕著に向上した。
• 重み適応（θ′）を伴う Z 空間における共同最適化は、トレーニングドメインとは大きく異なる画像を逆問題化する際でも、W 空間手法に比べて編集方向をよりよく保持した。