[論文レビュー] Self-Attention Generative Adversarial Networks

Han Zhang, Ian Goodfellow+2 more|arXiv (Cornell University)|May 21, 2018

Generative Adversarial Networks and Image Synthesis被引用数 2,202

ひとこと要約

GAN に自己注意を導入して画像の長距離依存性をモデル化し、スペクトル正規化と TTUR で訓練を安定化させ、ImageNet のクラス条件付き生成で最先端を達成。

ABSTRACT

In this paper, we propose the Self-Attention Generative Adversarial Network (SAGAN) which allows attention-driven, long-range dependency modeling for image generation tasks. Traditional convolutional GANs generate high-resolution details as a function of only spatially local points in lower-resolution feature maps. In SAGAN, details can be generated using cues from all feature locations. Moreover, the discriminator can check that highly detailed features in distant portions of the image are consistent with each other. Furthermore, recent work has shown that generator conditioning affects GAN performance. Leveraging this insight, we apply spectral normalization to the GAN generator and find that this improves training dynamics. The proposed SAGAN achieves the state-of-the-art results, boosting the best published Inception score from 36.8 to 52.52 and reducing Frechet Inception distance from 27.62 to 18.65 on the challenging ImageNet dataset. Visualization of the attention layers shows that the generator leverages neighborhoods that correspond to object shapes rather than local regions of fixed shape.

研究の動機と目的

• 畳み込み GAN が複雑な画像の長距離依存性とグローバル構造を捉える能力には限界があるとの動機づけ。
• 特徴マップ全体でグローバルな相互作用を可能にする自己注意メカニズムを、生成器と識別器の両方に導入する。
• 生成器と識別器の両方にスペクトル正規化を適用してLipschitz定数と訓練ダイナミクスを安定化し、Two-Timescale Update Rules (TTUR) を採用する。
• ImageNet 上で SAGAN を評価し、従来の GAN より生成品質と分布類似性の向上を実証する。

提案手法

• 自己長距離依存性をモデル化するため、全空間位置の特徴の加重和を計算する自己注意モジュールを組み込む。
• 注意のため f, g, h 空間を生成するために 1x1 畳み込みを適用し、注意重みを s_ij = f(x_i)^T g(x_j) によって計算し、出力 y_i = gamma o_i + x_i として、オブジェクトが attended 特徴を集約する。
• 生成器と識別器の両方に注意モジュールを配置し、生成画像のグローバル整合性と実データ vs 偽データの評価のグローバル整合性を強制する。
• 生成器と識別器の両方にスペクトル正規化を適用してリプシッツ条件と訓練ダイナミクスを安定化する。
• 正則化された識別器が使用される場合の収束性を改善するため、生成器と識別器の学習率を不均衡にするTTURを採用する。
• ジェネレーションオブジェクティブはヒンジ損失の対立的目的関数を用い、生成器には条件付きバッチ正規化、識別器には条件付け機構としての射影を採用する。

実験結果

リサーチクエスチョン

• RQ1 自己注意を GAN アーキテクチャに組み込むことで、長距離依存性と画像のグローバル構造のモデリングが改善されるか。
• RQ2 生成器にもスペクトル正規化を適用することは、識別器のみの場合と比べて GAN の訓練安定性とサンプル品質にどのような影響を与えるか。
• RQ3 正則化された識別器を使用する場合、TTUR は GAN 訓練に有益か。

主な発見

• 自己注意は画像合成品質を改善し、SAGAN はベースラインより高い Inception Score と低い FID を達成した。
• 中〜高レベルの特徴マップ（例: 32x32, 64x64）での注意接続は、非常に低解像度のマップでの注意よりも性能が良い。
• 自己注意ブロックは、長距離依存性のモデリングにおいて同等の残差ブロックより優れており、特に複雑な幾何構造で効果を発揮する。
• SAGAN は自己注意と安定化技術を組み合わせた結果、ImageNet で Inception Score 52.52、FID 18.65 を達成し、従来の研究を上回る。
• 視覚化は注意が空間的な近接性だけでなく意味的に整合したオブジェクト部位にも焦点を当てることを示し、犬の脚のような構造をモデリング可能にしている。