[論文レビュー] Generative Adversarial Transformers

Drew A. Hudson, C. Lawrence Zitnick|arXiv (Cornell University)|Mar 1, 2021

Generative Adversarial Networks and Image Synthesis参考文献 66被引用数 18

ひとこと要約

本稿では、トップダウンおよびボトムアップの相互作用を通じて、繰り返し画像特徴量と潜在変数を精緻化することにより、長距離注意を効率的に行える、GANformerと呼ばれる新しい二部グラフトランスフォーマー・アーキテクチャを提案する。本モデルは、合成および実世界のデータセットにおいて、画像品質、多様性、分離性の面で最先端の結果を達成しており、従来の GAN やトランスフォーマーと比較して、データ効率性が向上し、収束が速い。

ABSTRACT

We introduce the GANformer, a novel and efficient type of transformer, and explore it for the task of visual generative modeling. The network employs a bipartite structure that enables long-range interactions across the image, while maintaining computation of linear efficiency, that can readily scale to high-resolution synthesis. It iteratively propagates information from a set of latent variables to the evolving visual features and vice versa, to support the refinement of each in light of the other and encourage the emergence of compositional representations of objects and scenes. In contrast to the classic transformer architecture, it utilizes multiplicative integration that allows flexible region-based modulation, and can thus be seen as a generalization of the successful StyleGAN network. We demonstrate the model's strength and robustness through a careful evaluation over a range of datasets, from simulated multi-object environments to rich real-world indoor and outdoor scenes, showing it achieves state-of-the-art results in terms of image quality and diversity, while enjoying fast learning and better data-efficiency. Further qualitative and quantitative experiments offer us an insight into the model's inner workings, revealing improved interpretability and stronger disentanglement, and illustrating the benefits and efficacy of our approach. An implementation of the model is available at https://github.com/dorarad/gansformer.

研究の動機と目的

• 画像生成における長距離依存関係や構成的シーン構造をモデル化する際の、標準的なトランスフォーマーや CNN の限界を克服すること。
• トップダウンおよびボトムアップの注意メカニズムを生成モデルフレームワークに統合し、解釈可能性とデータ効率性を向上させること。
• 線形計算複雑性を維持しつつ、高解像度画像合成におけるグローバルな文脈モデリングを可能にするスケーラブルなトランスフォーマー基盤アーキテクチャを開発すること。
• 特に複数オブジェクトシーンを含む構成的視覚生成タスクにおいて、モデルの性能を評価し、画像品質、多様性、分離性の面で優位性を示すこと。

提案手法

• GANformer は、画像特徴量と潜在変数を交互に更新する二部グラフ注意メカニズムを採用しており、それらの間で双方向の情報伝達を可能にしている。
• 柔軟な領域ベースのモデュレーションを実現するため、乗法的統合を用い、StyleGAN のスタイルモデュレーションを複数の潜在ベクトルに一般化している。
• 単純型および二重型の注意演算を適用する：単純型は単方向（潜在ベクトルから画像）の流れを、二重型は双方向の相互作用を処理する。
• モデルは繰り返しによる精緻化を通じて、構成的かつ分離可能な表現の出現を支援する。
• すべての画像トークンに対する完全な自己注意を避けることで、線形計算複雑性を維持している。代わりに、ボトルネックとしてコンパクトな潜在変数の集合に依存している。
• 生成器は二部グラフトランスフォーマーを、識別器は実画像と生成画像を処理する GAN の目的関数により訓練する。

実験結果

リサーチクエスチョン

• RQ1 潜在変数と画像特徴量の間で繰り返し双方向精緻化を行う二部グラフトランスフォーマー・アーキテクチャは、画像生成の品質と多様性を向上させることができるか？
• RQ2 提案された注意メカニズムは、複数オブジェクトシーンにおけるオブジェクトの識別子、位置、サイズなどの意味的要因の分離性を向上させることができるか？
• RQ3 GANformer は、標準的な GAN やトランスフォーマーと比較して、どの程度データ効率性と学習速度が向上するか？
• RQ4 モデルの内部的注意メカニズムは、どのように構成的かつ解釈可能なシーン構造の表現を反映しているか？

主な発見

• CLEVR データセットにおいて、GANformer は FID スコア 2.887 を達成し、StyleGAN (6.435) や他のベースラインと比較して顕著に優れている。
• CLEVR データセットにおいて、GANformer は DCI 分離スコア 0.768 およびモジュラリティ 0.952 を達成しており、画像属性からの潜在要因の強固な分離性を示している。
• 本モデルは優れた画像多様性を示しており、カイ二乗統計量により、複数オブジェクトシーンにおける意味的属性の均一分布のカバーが良好であることが示された。
• アブレーションスタディの結果、注意をより早期にかつより多くの層に適用することで性能が向上し、学習が加速することが確認され、長距離相互作用の重要性が裏付けられた。
• GANformer は収束に必要な学習ステップ数とデータサンプル数が少なく、データ効率性の向上が確認された。
• 注意マップの可視化により、オブジェクトレベルの構造と整合する一貫性があり、局所的かつ解釈可能な注意パターンが観察され、モデルの構成的推論能力を裏付けた。