[論文レビュー] Improving GAN Training via Feature Space Shrinkage

Haozhe Liu, Wentian Zhang+7 more|arXiv (Cornell University)|Mar 2, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

本稿では、生成対抗ネットワーク（GAN）の訓練を安定化させるために、識別器の表現空間における本物画像の特徴空間を縮小する、シンプルでありながら効果的なモジュール、AdaptiveMixを提案する。本物画像のペairを線形に混合してハードなサンプルを構築し、それらの距離を容易なサンプルに近づけることで、訓練の安定性を向上させ、生成画像の品質を向上させる。本手法は複数のGANアーキテクチャで最先端の性能を達成し、画像分類や分布外（OOD）検出へも一般化可能である。

ABSTRACT

Due to the outstanding capability for data generation, Generative Adversarial Networks (GANs) have attracted considerable attention in unsupervised learning. However, training GANs is difficult, since the training distribution is dynamic for the discriminator, leading to unstable image representation. In this paper, we address the problem of training GANs from a novel perspective, \emph{i.e.,} robust image classification. Motivated by studies on robust image representation, we propose a simple yet effective module, namely AdaptiveMix, for GANs, which shrinks the regions of training data in the image representation space of the discriminator. Considering it is intractable to directly bound feature space, we propose to construct hard samples and narrow down the feature distance between hard and easy samples. The hard samples are constructed by mixing a pair of training images. We evaluate the effectiveness of our AdaptiveMix with widely-used and state-of-the-art GAN architectures. The evaluation results demonstrate that our AdaptiveMix can facilitate the training of GANs and effectively improve the image quality of generated samples. We also show that our AdaptiveMix can be further applied to image classification and Out-Of-Distribution (OOD) detection tasks, by equipping it with state-of-the-art methods. Extensive experiments on seven publicly available datasets show that our method effectively boosts the performance of baselines. The code is publicly available at https://github.com/WentianZhang-ML/AdaptiveMix.

研究の動機と目的

• 識別器の潜在空間における動的かつ散らばった特徴表現が原因で生じるGAN訓練の不安定性を解消すること。
• 識別器の特徴空間における本物データが占める領域を明示的に縮小することで、GAN訓練を改善すること。
• サンプル混合を用いた特徴空間のcompactさの制御が、訓練の安定性と生成品質を向上させることを検証すること。
• 提案手法がGANにとどまらず、ロバストな画像分類や分布外（OOD）検出といったタスクへも一般化可能であることを示すこと。
• アーキテクチャの変更や高い計算コストを伴わずに、ベースラインモデルを強化できるプラグアンドプレイ型モジュールを提供すること。

提案手法

• AdaptiveMixは、ベータ分布に従う混合係数を用いて、本物のトレーニング画像ペアを線形に混合することでハードなサンプルを構築する。
• 本手法は、識別器の特徴空間における混合サンプルとその対応する本物画像の特徴表現のL2距離を最小化する。
• この距離最小化により、本物データが占める特徴空間が効果的に縮小され、よりcompactで頑健な表現が促進される。
• モジュールは微分可能であり、既存のGANフレームワークにシームレスに統合可能で、プラグインコンponentとして利用可能である。
• 特徴空間の拡張を制約することで、特徴空間のリプシッツ連続性の暗黙的近似が実現され、識別器の頑健性が向上する。
• AdaptiveMixは、学習可能なノイズ項とベータ分布のパラメータαを用いて、訓練中に適用され、混合強度を制御する。

実験結果

リサーチクエスチョン

• RQ1 識別器の表現空間における本物画像の特徴空間を縮小することで、GAN訓練の安定性と画像品質が向上するか？
• RQ2 画像混合によるハードサンプルの構築と、それらを本物サンプルに近づけることで、よりcompactで頑健な特徴表現が得られるか？
• RQ3 AdaptiveMixはGANにとどまらず、画像分類や分布外（OOD）検出タスクへも一般化可能か？
• RQ4 性能と効率の観点から、従来のデータ拡張や正則化手法と比較して、AdaptiveMixはどのように優れているか？
• RQ5 ノイズのσやベータ分布のαといったハイパーパrameter設定（例：σ、α）は、異なるデータセットやモデルで最適な性能を発揮するにはどのような値が適しているか？

主な発見

• CIFAR-100では、ベースラインのManifold Mixupと比較してFIDスコアが最大17.38%向上し、7%の絶対的向上を達成した。
• Tiny-ImageNetでは、クリーンな画像認識タスクでベースラインと比較して3%の絶対的精度向上（60.59% vs. 57.23%）を達成した。
• OOD検出では、TIN-C上での'1DS w/o MC'のF1スコアを0.890から0.922に向上させ、計算コストの高いMCサンプリング手法と同等の性能を達成した。
• 最適なハイパーパrameterは、ノイズ用にσ = 0.05、ベータ分布用にα = 1.0であり、全評価タスクで最良の性能を発揮した。
• AdaptiveMixは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNetを含む7つの公開データセットにおいて、画像生成、分類、OOD検出の各タスクで、最先端のモデルを一貫して向上させた。
• 腐敗したデータや分布外データに対する性能向上が裏付けられており、本手法は頑健性と一般化性能の両方を向上させている。