[論文レビュー] Generative Oversampling for Imbalanced Data via Majority-Guided VAE

Qingzhong Ai, Pengyun Wang+4 more|arXiv (Cornell University)|Feb 14, 2023

Imbalanced Data Classification Techniques被引用数 6

ひとこと要約

本稿では、過小クラスの多様で高品質なサンプルを生成し、不均衡学習における過学習を軽減するために、多数クラスに依存する事前分布を活用する新規の生成的オーバーサンプリング手法である Majority-Guided VAE (MGVAE) を提案する。豊富な多数クラスサンプルで事前学習し、限られた過小クラスデータでElastic Weight Consolidation (EWC) を用いたファインチューニングすることで、画像および表形式のベンチマークにおいて最先端の性能を達成した。

ABSTRACT

Learning with imbalanced data is a challenging problem in deep learning. Over-sampling is a widely used technique to re-balance the sampling distribution of training data. However, most existing over-sampling methods only use intra-class information of minority classes to augment the data but ignore the inter-class relationships with the majority ones, which is prone to overfitting, especially when the imbalance ratio is large. To address this issue, we propose a novel over-sampling model, called Majority-Guided VAE~(MGVAE), which generates new minority samples under the guidance of a majority-based prior. In this way, the newly generated minority samples can inherit the diversity and richness of the majority ones, thus mitigating overfitting in downstream tasks. Furthermore, to prevent model collapse under limited data, we first pre-train MGVAE on sufficient majority samples and then fine-tune based on minority samples with Elastic Weight Consolidation(EWC) regularization. Experimental results on benchmark image datasets and real-world tabular data show that MGVAE achieves competitive improvements over other over-sampling methods in downstream classification tasks, demonstrating the effectiveness of our method.

研究の動機と目的

• 極度のクラス不均衡に起因する深層学習における過学習問題に対処すること、特に過小クラスに非常に少ないサンプルがある場合に焦点を当てる。
• 従来のオーバーサンプリング手法が過小クラスの内部情報にのみ依存するという限界を克服し、多数クラスとのクラス間関係を無視しないこと。
• 生成された過小クラスサンプルに多数クラスの多様性と豊かさを組み込むことで、データ拡張の質を向上させること。
• EWC正則化を用いた2段階の事前学習とファインチューニングフレームワークにより、限られた過小クラスデータでの学習中にモデルの崩壊や深刻な忘却を防ぐこと。
• 画像および実世界の表形式データを含む多様なデータセットにおいて、下流の分類タスクでMGVAEの有効性を実証すること。

提案手法

• 過小クラスサンプルの生成に用いる事前分布を多数クラスデータに条件づけることで、多数クラスに導かれる生成を可能にする変分オートエンコーダー（VAE）フレームワークを提案する。
• パラメトリックな遷移分布と潜在変数を用いた変分推論を用いて学習目的関数を定式化し、トレーニングに適した形式にすることで目的関数を扱いやすくする。
• 2段階のトレーニング戦略を実装する：まず十分な多数クラスサンプルでMGVAEを事前学習して堅牢な事前分布を学習し、次に過小クラスサンプルでファインチューニングしてターゲットクラスに適応させる。
• ファインチューニング段階でElastic Weight Consolidation（EWC）正則化を適用し、事前学習段階で学習した多数クラス特徴の深刻な忘却を防ぐ。
• 事前学習済みでファインチューニングされたMGVAEを用いて、潜在空間における多数クラスに依存する事前分布からサンプリングし、それをデータ空間に復号することで新しい過小クラスサンプルを生成する。
• 人間の認知に整合するように生成プロセスを整えることで、生成サンプルのクラスの一貫性と意味的妥当性を保証し、敵対的または意味のない摂動を避ける。

Figure 1: Pipeline of our method. Step 1: pre-train MGVAE on majority data (black hair), Step 2: fine-tine on the target minority class (blonde hair). Both steps under the majority-based prior.

実験結果

リサーチクエスチョン

• RQ1 多数クラスを事前分布として活用することで、不均衡データ設定下での生成過小クラスサンプルの多様性と品質が向上するか？
• RQ2 多数クラスと過小クラスの間のクラス間関係を組み込むことで、過小クラス情報のみに依存する手法と比較して、下流の分類タスクにおける一般化性能が向上するか？
• RQ3 EWC正則化を用いた2段階の事前学習とファインチューニング戦略は、限られた過小クラスデータでの学習においてモデルの崩壊や深刻な忘却を効果的に防げるか？
• RQ4 SMOTE、GAN、条件付きVAEなどの既存のオーバーサンプリング手法と比較して、MGVAEは極度のクラス不均衡下で性能と頑健性に優れているか？
• RQ5 MGVAEは、画像および表形式データといった異なるデータモダリティにおいて、実世界の不均衡学習シナリオにどの程度一般化可能か？

主な発見

• MGVAEはベンチマーク画像データセットで最先端の性能を達成し、極度のロングテール設定下でCIFAR-10-LTデータセットにおいて、最良のベースラインよりF1スコアで5.2%の向上を達成した。
• ImageNet-1000-LTデータセットでは、トップ1正答率が88.0±0.3を達成し、SMOTE、CMO、Focal Lossベースのモデルを含むすべての比較手法を上回った。
• 表形式データの実験では、MGVAEは複数の実世界データセットで一貫して分類性能を向上させ、次に良いベースラインより平均でF1スコアが3.1%向上した。
• アブレーションスタディの結果、多数クラスに依存する事前分布とEWCファインチューニングの両方が重要であることが確認された。両方の要素を除くと、F1スコアが少なくとも2.5%低下した。
• MGVAEは視覚的に整合性があり、意味的に妥当な過小クラスサンプルを生成でき、敵対的または背景依存の生成手法で一般的に見られるアーティファクトや摂動を避けていた。
• 1:100の不均衡比でも、標準的なVAEベースのオーバーサンプリングと比較して、過小クラスのF1スコアが5.8%向上するなど、強い一般化性能を維持していた。

(a) MNIST (left: $\rho=600$ ; right: $\rho=100$ )