[論文レビュー] STransGAN: An Empirical Study on Transformer in GANs

Rui Xu, Xiangyu Xu+3 more|arXiv (Cornell University)|Oct 25, 2021

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

本稿では、局所的アテンションと再構築された残差接続を活用することで、CNNフリーのTransformerベースの生成器と判別器であるSTrans-GおよびSTrans-Dを提案する。このアプローチは、非条件付きおよび条件付き生成タスクの両方で競争力ある画像合成性能を達成し、TransformerベースとCNNベースの判別器の間の精度差を顕著に縮小する。

ABSTRACT

Transformer becomes prevalent in computer vision, especially for high-level vision tasks. However, deploying Transformer in the generative adversarial network (GAN) framework is still an open yet challenging problem. In this paper, we conduct a comprehensive empirical study to investigate the intrinsic properties of Transformer in GAN for high-fidelity image synthesis. Our analysis highlights the importance of feature locality in image generation. We first investigate the effective ways to implement local attention. We then examine the influence of residual connections in self-attention layers and propose a novel way to reduce their negative impacts on learning discriminators and conditional generators. Our study leads to a new design of Transformers in GAN, a convolutional neural network (CNN)-free generator termed as STrans-G, which achieves competitive results in both unconditional and conditional image generations. The Transformer-based discriminator, STrans-D, also significantly reduces its gap against the CNN-based discriminators.

研究の動機と目的

• 高精細な画像合成におけるTransformerの内在的性質を調査すること。
• 特に識別力と生成品質を維持するという点で、TransformerをGANに導入する課題に取り組むこと。
• GANにおけるTransformerベースとCNNベースの判別器の性能差を縮小すること。
• 従来のCNNベースの対応物と同等またはそれを上回る性能を発揮するCNNフリーの生成器および判別器を設計すること。

提案手法

• 画像生成に不可欠な特徴の局所性を保つために、局所的自己アテンション機構を実装すること。
• 自己アテンション層における残差接続を再設計し、判別器および条件付き生成器の学習に対する悪影響を軽減すること。
• 非条件付きおよび条件付き画像生成の両方を対象とした、変更を加えたTransformerアーキテクチャに基づくCNNフリーの生成器STrans-Gを提案すること。
• CNNベースの対応物と同等またはそれを上回る性能を示す、Transformerベースの判別器STrans-Dを設計すること。
• 局所的アテンションと残差接続の変更による貢献度を評価するための広範なアブレーションスタディを実施すること。
• 非条件付きおよび条件付き画像合成の両方における標準ベンチマーク上で、提案モデルの訓練および評価を実施すること。

実験結果

リサーチクエスチョン

• RQ1 局所的アテンションは、TransformerベースのGANにおける画像生成品質にどのように影響するか？
• RQ2 残差接続は、TransformerベースのGANにおける判別器および条件付き生成器の学習ダイナミクスにどのような影響を及えるか？
• RQ3 CNNフリーの生成器および判別器は、高精細な画像合成において、CNNベースの対応物と同等の性能を達成できるか？
• RQ4 アテンションおよび残差接続に対するアーキテクチャの修正は、GANにおけるTransformerの安定性と性能をどのように向上させるか？

主な発見

• 局所的アテンション機構は、TransformerベースのGANにおける特徴表現および画像品質を顕著に向上させる。
• 再設計された残差接続は、判別器および生成器の学習に対する干渉を低減し、より安定した学習を実現する。
• STrans-Gは、畳み込み層を一切使用せずに、非条件付きおよび条件付き画像生成の両方で競争力ある性能を達成する。
• STrans-Dは、CNNベースの判別器との性能差を縮小し、完全にTransformer構造であるにもかかわらず強力な識別能力を示す。
• アブレーションスタディの結果、局所的アテンションと修正済みの残差接続の両方が、高精細な画像合成において不可欠であることが確認された。
• 提案されたSTransGANフレームワークは、標準ベンチマークにおいて、CNNフリーのTransformerベースのGANの中で最先端の結果を達成した。