[論文レビュー] Improving GAN Equilibrium by Raising Spatial Awareness

Jianyuan Wang, Ceyuan Yang+4 more|arXiv (Cornell University)|Dec 1, 2021

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、生成器の空間的認識能力を強化し、判別器との注意マッピングのアライメントを学習することで、GAN学習の均衡を向上させるEqGAN-SAという手法を提案する。マルチレベルの空間的ヒートマップを注入し、判別器のGradCAMベースの注意マッピングと一致させることで、情報の非対称性を低減し、画像合成品質を向上させる。その効果は、FFHQでFIDが3.66（ベースライン）から2.96に改善されたことや、ヒートマップの操作によるインタラクティブ編集が可能になったことからも裏付けられる。

ABSTRACT

The success of Generative Adversarial Networks (GANs) is largely built upon the adversarial training between a generator (G) and a discriminator (D). They are expected to reach a certain equilibrium where D cannot distinguish the generated images from the real ones. However, such an equilibrium is rarely achieved in practical GAN training, instead, D almost always surpasses G. We attribute one of its sources to the information asymmetry between D and G. We observe that D learns its own visual attention when determining whether an image is real or fake, but G has no explicit clue on which regions to focus on for a particular synthesis. To alleviate the issue of D dominating the competition in GANs, we aim to raise the spatial awareness of G. Randomly sampled multi-level heatmaps are encoded into the intermediate layers of G as an inductive bias. Thus G can purposefully improve the synthesis of certain image regions. We further propose to align the spatial awareness of G with the attention map induced from D. Through this way we effectively lessen the information gap between D and G. Extensive results show that our method pushes the two-player game in GANs closer to the equilibrium, leading to a better synthesis performance. As a byproduct, the introduced spatial awareness facilitates interactive editing over the output synthesis. Demo video and code are available at https://genforce.github.io/eqgan-sa/.

研究の動機と目的

• 生成器が常に判別器に劣るGAN学習における持続的ないipping（不均衡）を是正すること。
• この不均衡の根本的原因を特定し、生成器と判別器の間における空間的認識の情報非対称性が主な要因であると特定すること。
• 生成器に判別器の注意マッピングに一致する明示的な空間的認識能力を付与することで、合成品質を向上させること。
• 生成器に供給されるヒートマップを操作することで、インタラクティブな画像編集を可能にすること。

提案手法

• 空間符号化層（SEL）を介して、中間層にランダムに抽出されたマルチレベルの空間的ヒートマップを生成器にインダクティブバイアスとして注入する。
• 訓練中に生成画像に対してGradCAMを用いて判別器の注意マップを抽出する。
• 情報非対称性を低減するために、生成器の空間的認識と判別器の注意マップを、監視損失を用いてアライメントさせる。
• StyleGAN2の粗いものから細かいものへの合成プロセスに適合する階層的ヒートマップサンプリング戦略を採用する。
• 判別器アーキテクチャを変更せずに、生成器ネットワークに空間符号化と注意アライメントを統合する。
• 生成器を敵対的損失と空間アライメント損失の両方で訓練することで、局所的合成の正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 モデルの収束にもかかわらず、なぜGAN学習において判別器が常に生成器を上回るのか？
• RQ2 判別器が自己学習した視覚的注意が、敵対的ゲームにおける優位性にどのように寄与しているのか？
• RQ3 生成器の空間的認識能力を向上させることで、生成器と判別器間の情報非対称性を軽減できるか？
• RQ4 生成器の注意を判別器の注意に合わせることで、GANの均衡と合成品質はどの程度向上するのか？
• RQ5 空間的認識を持つ生成器は、ヒートマップの操作によってインタラクティブな画像編集を可能にするか？

主な発見

• EqGAN-SAは、判別器における本物画像と生成画像のスコアの差を縮小させ、図1の損失曲線から示されるように、GANゲームの均衡に近づける。
• 256×256解像度のFFHQデータセットにおいて、FIDはベースラインの3.66から2.96に改善され、顕著な品質向上が確認された。
• ノイズや劣化した生成に対しても、判別器の注意マップは安定的かつ一貫性を保ち続けるため、信頼できる監視信号であることが裏付けられた。
• ヒートマップによって導入された空間的認識により、ユーザーが入力ヒートマップを変更することで出力の合成を操作できるインタラクティブ編集が可能になった。
• モデル容量の増加なしに合成品質が向上したため、情報非対称性がGAN学習における主なボトルネックである可能性が示された。
• 空間符号化処理により、ヒートマップの境界でぼやけが発生することがあり、実装上のわずかなトレードオフであると判明した。