[論文レビュー] Transformer-based Generative Adversarial Networks in Computer Vision: A Comprehensive Survey

Shiv Ram Dubey, Satish Kumar Singh|arXiv (Cornell University)|Feb 17, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

この論文は、コンピュータビジョン分野におけるトランスフォーマーに基づく生成対抗ネットワーク（GAN）の包括的サーベイを提示し、画像および動画合成タスクにおけるアーキテクチャ、トレーニング戦略、パフォーマンスを分析している。畳み込みニューラルネットワーク（CNN）の局所的インダクティブバイアスとトランスフォーマーの自己注意によるグローバルモデリングの融合を強調し、FID、PSNR、SSIMといった指標を用いたベンチマークデータセット上での画像生成、翻訳、動画合成において優れた性能を示している。

ABSTRACT

Generative Adversarial Networks (GANs) have been very successful for synthesizing the images in a given dataset. The artificially generated images by GANs are very realistic. The GANs have shown potential usability in several computer vision applications, including image generation, image-to-image translation, video synthesis, and others. Conventionally, the generator network is the backbone of GANs, which generates the samples and the discriminator network is used to facilitate the training of the generator network. The discriminator network is usually a Convolutional Neural Network (CNN). Whereas, the generator network is usually either an Up-CNN for image generation or an Encoder-Decoder network for image-to-image translation. The convolution-based networks exploit the local relationship in a layer, which requires the deep networks to extract the abstract features. Hence, CNNs suffer to exploit the global relationship in the feature space. However, recently developed Transformer networks are able to exploit the global relationship at every layer. The Transformer networks have shown tremendous performance improvement for several problems in computer vision. Motivated from the success of Transformer networks and GANs, recent works have tried to exploit the Transformers in GAN framework for the image/video synthesis. This paper presents a comprehensive survey on the developments and advancements in GANs utilizing the Transformer networks for computer vision applications. The performance comparison for several applications on benchmark datasets is also performed and analyzed. The conducted survey will be very useful to deep learning and computer vision community to understand the research trends \& gaps related with Transformer-based GANs and to develop the advanced GAN architectures by exploiting the global and local relationships for different applications.

研究の動機と目的

• 文献に類似のサーベイが存在しないため、コンピュータビジョン分野におけるトランスフォーマーに基づくGANの包括的サーベイを提供すること。
• 画像生成、画像間翻訳、動画合成、修復タスクを含む主な応用分野において、トランスフォーマーに基づくGANモデルを分類・分析すること。
• ベンチマークデータセット上での標準指標（FID、PSNR、SSIM）を用いて最先端モデルを比較すること。
• トランスフォーマーとGANを統合する分野における研究トレンド、未解決課題、今後の研究方向性を特定すること。
• 局所的およびグローバルな特徴表現を効果的に活用する高機能なGANアーキテクチャの設計を研究者にガイドすること。

提案手法

• 本サーベイは、生成器および判別器のアーキテクチャに基づき、ビジョントランスフォーマー（Vision Transformer）、スウィントランスフォーマー（Swin Transformer）、およびハイブリッドCNN-トランスフォーマー設計を含む、トランスフォーマーに基づくGANを体系的に分類している。
• トレーニング安定性および合成品質を評価するため、敵対的損失、知覚的損失、サイクル整合性損失、マスクされた自己符号化を含む目的関数を分析している。
• CIFAR-10、CelebA、Cityscapes、LSUNなどの多様なベンチマークを用いて、画像および動画タスクのモデルを評価している。
• Fréchet Inception Distance（FID）、ピーク信号対雑音比（PSNR）、構造的類似性指数（SSIM）といった指標を用いてパフォーマンスを比較している。
• クロスアテンション、マルチヘッド自己注意、CNNとトランスフォーマーを組み合わせたハイブリッドエンコーダーなどのアーキテクチャ的イノベーションを分析している。
• プログレッシブ成長、マスキングに基づく事前学習、自己教師あり学習などのトレーニング技術についても議論しており、一般化性能の向上に寄与している。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーに基づくGANは、従来のCNNベースのGANと比較して、画像および動画合成における長距離依存関係のモデリングをどのように改善しているか？
• RQ2 画像および動画生成分野における最先端のパフォーマンスを実現するためのキーアーキテクチャ的要素（自己注意、クロスアテンション、ハイブリッドCNN-トランスフォーマーブロックなど）は何か？
• RQ3 敵対的損失、知覚的損失、サイクル整合性損失などの異なる損失関数は、生成画像および動画の品質および安定性にどのように影響を与えるか？
• RQ4 特に計算効率、一般化性能、ハイパーパrameter感受性の観点から、トランスフォーマーに基づくGANのトレーニングおよびデプロイの現在の制限および未解決課題は何か？
• RQ5 トランスフォーマーを用いた局所的およびグローバル表現の統合をさらに向上させるために、今後の研究でどのような方向性が期待できるか？

主な発見

• トランスフォーマーに基づくGANは、従来のCNNベースのGANに比べてグローバルな依存関係のモデリングにおいて優れており、より高品質な画像および動画合成を実現している。
• 生成器にビジョントランスフォーマー（ViT）およびスウィントランスフォーマー（Swin Transformer）を用いたモデルは、CIFAR-10およびCelebAなどの画像生成ベンチマークで最先端のFIDスコアを達成している。
• U字型アーキテクチャにおいてCNNベースのエンコーダーとトランスフォーマーに基づくデコーダーを組み合わせたハイブリッド構造は、画像間翻訳および画像修復タスクで優れたパフォーマンスを示している。
• CNNの局所的インダクティブバイアスとトランスフォーマーのグローバルモデリングを統合したハイブリッドアーキテクチャは、画像生成およびスーパーレンダリングにおいて安定性および知覚的品質の向上を実現している。
• 生成器におけるクロスアテンションおよびマスクされたトークン予測の使用は、画像インpaintingや動画合成などのタスクにおける特徴の整合性および再構成忠実度を向上させている。
• 進展は見られるが、トレーニングの不安定性および高い計算コストは依然として課題であり、特に動画生成および高解像度合成においては、より優れた損失関数およびトレーニング戦略の開発が求められている。