[論文レビュー] Annealing Genetic GAN for Minority Oversampling

Jingyu Hao, Chengjia Wang+2 more|arXiv (Cornell University)|Aug 5, 2020

Imbalanced Data Classification Techniques参考文献 25被引用数 10

ひとこと要約

本稿では、局所最適解を回避するために、模擬的冷却と遺伝的アルゴリズムの原則をGANに統合した、新たなトレーニング戦略であるAnnealing Genetic GAN（AGGAN）を提案する。劣悪な解の制御された受容と複数のジェネレーターオフスプリングの進化を許容することで、AGGANは限られたサンプルから正確なマイノリティクラスの分布を学習でき、特に高インバランス比において分類性能を顕著に向上させる。

ABSTRACT

The key to overcome class imbalance problems is to capture the distribution of minority class accurately. Generative Adversarial Networks (GANs) have shown some potentials to tackle class imbalance problems due to their capability of reproducing data distributions given ample training data samples. However, the scarce samples of one or more classes still pose a great challenge for GANs to learn accurate distributions for the minority classes. In this work, we propose an Annealing Genetic GAN (AGGAN) method, which aims to reproduce the distributions closest to the ones of the minority classes using only limited data samples. Our AGGAN renovates the training of GANs as an evolutionary process that incorporates the mechanism of simulated annealing. In particular, the generator uses different training strategies to generate multiple offspring and retain the best. Then, we use the Metropolis criterion in the simulated annealing to decide whether we should update the best offspring for the generator. As the Metropolis criterion allows a certain chance to accept the worse solutions, it enables our AGGAN steering away from the local optimum. According to both theoretical analysis and experimental studies on multiple imbalanced image datasets, we prove that the proposed training strategy can enable our AGGAN to reproduce the distributions of minority classes from scarce samples and provide an effective and robust solution for the class imbalance problem.

研究の動機と目的

• インバランスデータセットにおける限られたトレーニングサンプルから正確なマイノリティクラスの分布を学ぶという課題に対処すること。
• 限られたマイノリティサンプルから学習する際、モード崩壊を引き起こすGANトレーニングにおける局所最適解問題を克服すること。
• マイノリティクラスの実際の分布をよりよく再現する高品質な合成データを生成することで、分類器のマイノリティクラスにおける性能を向上させること。
• マイノリティクラスの分類性能を向上させるために、高品質な合成データを生成し、真のマイノリティ分布をよりよく表現すること。

提案手法

• AGGANは、ジェネレータが異なるトレーニング戦略を用いて複数のオフスプリングを生成する進化的プロセスとしてGANトレーニングを再定式化する。
• 最高のオフスプリングはディスクライマータのフィードバックに基づいて選択され、模擬的冷却のメトロポリス基準がジェネレータの更新を受容するか拒否するかを決定する。
• 模擬的冷却機構により、時間の経過に従って確率が低下するが、劣悪な解の偶発的受容が可能となり、局所最適解からの脱出が可能になる。
• メトロポリス基準における温度パラメータは徐々に低下させられ、トレーニング中の探索と活用のトレードオフを制御する。
• 突然変異や選択といった遺伝的操作をジェネレータ更新プロセスに統合することで、多様性と収束性が向上する。
• 本手法はGANにエンドツーエンドで適用され、元のディスクライメーターやジェネレータのアーキテクチャに変更を加えない。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムと模擬的冷却を組み合わせたハイブリッドトレーニング戦略は、限られたサンプルからマイノリティクラスの分布を学ぶGANの能力を向上させるか？
• RQ2 提案されたAGGAN手法は、インバランスなデータにおけるGANトレーニングで局所最適解を効果的に脱出し、モード崩壊を回避するか？
• RQ3 AGGANは、標準GANや他のオーバーサンプリング手法と比較して、マイノリティクラスにおける分類性能で優れているか？
• RQ4 ハイパーパramータ設定（初期温度と冷却係数）は、AGGANの収束性と最終的性能にどの程度影響を与えるか？

主な発見

• インバランス比100のMNISTでは、AGGANは92.41%の精度を達成し、ACGAN（90.60%）、E-GAN（91.41%）などのベースラインを顕著に上回った。
• 同じインバランス比100のFashion-MNISTでは、AGGANは83.20%の精度を達成し、CB-loss や DOS を含むすべての比較手法を上回った。
• マイノリティクラスのリcallが顕著に向上し、特に高インバランス比において真のマイノリティサンプルの識別が改善された。
• 特徴量可視化により、AGGANが生成したサンプルが、テストセットにおけるマイノリティクラスの全分布をよりよくカバーしていることが確認された。
• ハイパーパramータ分析では、高い初期温度と冷却係数は収束が遅くなるが、最終的な精度が高くなる傾向を示し、設定にかかわらず安定性が確認された。
• 包括的なアブレーション実験により、遺伝的操作と模擬的冷却の両方が不可欠であることが示され、いずれかを削除すると性能が著しく低下した。