[論文レビュー] Style Intervention: How to Achieve Spatial Disentanglement with Style-based Generators?

Yunfan Liu, Qi Li+2 more|arXiv (Cornell University)|Nov 19, 2020

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 16

ひとこと要約

本稿では、StyleGANv2などのスタイルベースジェネレータの特徴空間におけるスタイルコードの操作により、空間的に分離された画像編集を達成する軽量な最適化ベース手法「スタイル干渉（Style Intervention）」を提案する。特定の視覚的概念に関連する特徴マップに焦点を当てることで、追加のネットワーク学習やアノテーションデータを必要とせず、正確な局所的編集が可能となる。高解像度の顔貌属性編集タスクにおいて、視覚的忠実度と空間的分離性の両面で最先端の手法を上回っている。

ABSTRACT

Generative Adversarial Networks (GANs) with style-based generators (e.g. StyleGAN) successfully enable semantic control over image synthesis, and recent studies have also revealed that interpretable image translations could be obtained by modifying the latent code. However, in terms of the low-level image content, traveling in the latent space would lead to `spatially entangled changes' in corresponding images, which is undesirable in many real-world applications where local editing is required. To solve this problem, we analyze properties of the 'style space' and explore the possibility of controlling the local translation with pre-trained style-based generators. Concretely, we propose 'Style Intervention', a lightweight optimization-based algorithm which could adapt to arbitrary input images and render natural translation effects under flexible objectives. We verify the performance of the proposed framework in facial attribute editing on high-resolution images, where both photo-realism and consistency are required. Extensive qualitative results demonstrate the effectiveness of our method, and quantitative measurements also show that the proposed algorithm outperforms state-of-the-art benchmarks in various aspects.

研究の動機と目的

• スタイルベースGANにおけるグローバルな潜在空間操作に起因する画像変換における空間的混合（spatial entanglement）を解消すること。
• 関連しない領域に影響を与えることなく、特定の画像コンテンツ（例：顔貌属性）を正確に局所的に編集できること。
• 追加の学習やアノテーションを必要とせず、任意の事前学習済みスタイルベースジェネレータと互換性を持つ汎用フレームワークの開発。
• 従来の$\mathcal{Z}$空間または$\mathcal{W}$空間での編集手法に比べ、空間的に混合された変化を回避すること。
• 高精細度の写真的再現性とアイデンティティの一貫性を維持しながら、個々の視覚的概念に対して細かく制御可能な編集を可能とすること。

提案手法

• 勾配ベースの感度解析を用いて、ターゲット視覚的概念（例：眼鏡）に関連するジェネレータの中間層の特徴マップを同定するフレームワークを提案。
• ターゲット属性の変更とコンテンツ保存のバランスを最適化するカスタム目的関数を最小化するように、選択された特徴マップのスタイルコードのみを最適化。
• 新たなネットワークの学習を必要とせず、事前学習済みジェネレータの内部活性化に依存する軽量な最適化ループを採用。
• 高忠実度の生成と入力画像との一貫性を保証するため、知覚的損失、L2損失、アイデンティティ保持損失を組み合わせたマルチスケール損失を採用。
• さまざまな翻訳タスクに柔軟に適応可能な目的関数のカスタマイズを可能とし、異なる編集目的への適合性を実現。
• 潜在空間ではなく、スタイル空間（すなわちスタイルベクトルの空間）上で直接操作することで、空間的に選択的なスタイルコード操作による局所的制御を実現。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みスタイルベースジェネレータの特徴空間における特定のスタイルコードの操作によって、空間的に分離された画像編集を達成できるか？
• RQ2 ターゲット視覚的概念に関連するスタイルコードを最適化することで、$\mathcal{Z}$空間や$\mathcal{W}$空間での編集に比べ、より正確かつ局所的な画像変換が可能になるか？
• RQ3 追加の学習やアノテーションデータを必要としない軽量で最適化ベースの手法が、高品質な編集を達成できるか？
• RQ4 空間的分離性と視覚的忠実度の観点から、本手法は最先端のGANベース顔貌属性編集モデルと比較してどの程度優れているか？
• RQ5 編集中に非ターゲットの画像コンテンツやアイデンティティをどの程度正確に保持できるか？

主な発見

• 本手法は空間的分離性において最先端のベンチマークを上回り、ユーザー評価では98.10％のユーザーが非ターゲット画像コンテンツの保持が優れていると評価した。
• ユーザー調査では、82.85％の参加者がAttGAN、78.08％がStarGANよりも本手法を属性変換の質で好んだ。
• 定量的評価では、顔認識スコア（ID）と構造的類似度（SSIM）が最高を記録し、コンテンツの保持が優れていることを示した。
• ユーザー調査では、画像品質について100％の好まれ度を記録し、StarGAN や AttGAN といった従来のcGAN手法でさえも上回った。
• 高解像度顔貌属性編集において、本手法は写真的再現性を維持しながら、背景やアイデンティティへの不要な影響を最小限に抑えることができた。これは定性的および定量的評価で確認された。
• 本手法は$\mathcal{W}$空間での編集に比べ、より優れた空間的分離性を達成しており、スタイルコード干渉による特定の特徴マップへのターゲティングの利点を示した。