[論文レビュー] A survey on GANs for computer vision: Recent research, analysis and taxonomy

Guillermo Iglesias, Edgar Talavera+1 more|arXiv (Cornell University)|Mar 21, 2022

Advanced Neural Network Applications被引用数 8

ひとこと要約

本サーベイは、コンピュータビジョン分野における生成対抗ネットワーク（GAN）の最近の進展を包括的に概説し、アーキテクチャと損失関数最適化の観点からGANの変種を分類している。訓練の安定性、FID や IS といった評価指標、画像生成、翻訳、合成への応用を分析し、拡散モデルが安定性と多様性において GAN を上回っているものの、効率性と TransGAN などのアーキテクチャによる柔軟性のおかげで、GAN は依然として影響力を持つと結論づけている。

ABSTRACT

In the last few years, there have been several revolutions in the field of deep learning, mainly headlined by the large impact of Generative Adversarial Networks (GANs). GANs not only provide an unique architecture when defining their models, but also generate incredible results which have had a direct impact on society. Due to the significant improvements and new areas of research that GANs have brought, the community is constantly coming up with new researches that make it almost impossible to keep up with the times. Our survey aims to provide a general overview of GANs, showing the latest architectures, optimizations of the loss functions, validation metrics and application areas of the most widely recognized variants. The efficiency of the different variants of the model architecture will be evaluated, as well as showing the best application area; as a vital part of the process, the different metrics for evaluating the performance of GANs and the frequently used loss functions will be analyzed. The final objective of this survey is to provide a summary of the evolution and performance of the GANs which are having better results to guide future researchers in the field.

研究の動機と目的

• 近年のコンピュータビジョンにおける GAN のアーキテクチャと損失関数最適化の体系的分類を提供すること。
• モード崩壊や不安定性といった GAN 訓練の主な課題を分析し、提案された解決策を評価すること。
• GAN のパフォーマンスと一般化能力を評価するための標準的指標（例：FID、IS）をレビューおよび比較すること。
• 画像対画像翻訳、テキスト対画像生成、動画合成、創薬への GAN の実世界応用を要約すること。
• 安定性、多様性、計算コストの観点から、GAN と拡散モデルなどの新興代替手法を比較すること。

提案手法

• 220 範囲の最近の GAN の論文を対象とした構造的レビューを実施し、アーキテクチャの革新と損失関数の設計に焦点を当てる。
• GAN の変種を主に二つのカテゴリに分類する：アーキテクチャ最適化 GAN（例：TransGAN、StyleGAN）と損失関数最適化 GAN（例：WGAN、SAGAN）。
• Fréchet Inception Distance（FID）、Inception Score（IS）、精度/再現率といった標準的指標を用いて GAN のパフォーマンスを評価し、その長所と短所を分析する。
• トランスフォーマーを GAN に統合したハイブリッドアーキテクチャを検討する。例として、高解像度画像生成のための自己注意機構で畳み込み層を置き換える TransGAN が挙げられる。
• プライバシー保護型データ合成のためのフェデレーテッド GAN を議論する。クライアントが局所的に学習し、生データを共有せずにグローバルモデルを更新する。
• GAN と拡散モデルを比較し、優れた安定性、モード崩壊の回避、尤度ベースの学習の利点を強調するが、推論コストの高さにも言及する。

実験結果

リサーチクエスチョン

• RQ1 近年の GAN のアーキテクチャは、訓練の不安定性やモード崩壊に対処するためにどのように進化したか？
• RQ2 コンピュータビジョンタスクにおける GAN パフォーマンスの評価に最も効果的な損失関数と評価指標は何か？
• RQ3 GAN が最先端の結果を示した応用分野は何か。また、拡散モデルと比較するとどうか？
• RQ4 TransGAN のようなトランスフォーマーに基づく GAN は、畳み込み GAN と比較して、画像生成の質と解像度をどのように向上させたか？
• RQ5 訓練の安定性、推論速度、サンプルの多様性という観点から、GAN と拡散モデルの間にはどのようなトレードオフがあるか？

主な発見

• 自己注意機構を用いた畳み込みなしの GAN である TransGAN は、標準的な畳み込み GAN と比較して、CIFAR-10 において FID と Inception Score の両方で改善を達成した。
• 拡散モデルは、モード崩壊を回避し、尤度ベースの生成を可能にすることで、安定性とサンプルの多様性において GAN を上回っているが、計算コストが高いためにその代償がある。
• フェデレーテッド GAN は、機密性の高いクライアントデータを共有せずに、高水準の新規性と多様性を達成する薬物分子生成を可能にした。
• WGAN や SAGAN における損失関数最適化により、元の GAN の定式化と比較して、訓練の安定性とサンプル品質が顕著に向上した。
• トランスフォーマーを GAN に統合することで、長距離依存関係のモデリングが向上し、歩行者経路予測のような順序付きタスクにおけるパフォーマンスが向上した。
• 拡散モデルの台頭にもかかわらず、GAN はその効率性とリアルタイムおよびリソース制限のある環境での優れた性能のおかげで、依然として関連性を保っている。