[論文レビュー] VOS: a Method for Variational Oversampling of Imbalanced Data

Val Andrei Fajardo, David M. Findlay+4 more|arXiv (Cornell University)|Sep 7, 2018

Imbalanced Data Classification Techniques参考文献 11被引用数 11

ひとこと要約

本論文は、変分オートエンコーダー（VAEs）を用いてマイノリティークラスのサンプルを合成する、新しい生成的オーバーサンプリング手法VOS（Variational Oversampling）を提案する。マイノリティーサンプルの潜在的分布を学習し、現実的な合成サンプルを生成することで、SMOTE や ADASYN よりも顕著に分類性能を向上させ、不正検出およびがん画像分類タスクにおいて最先端の F1 スコアと精度を達成した。

ABSTRACT

Class imbalanced datasets are common in real-world applications that range from credit card fraud detection to rare disease diagnostics. Several popular classification algorithms assume that classes are approximately balanced, and hence build the accompanying objective function to maximize an overall accuracy rate. In these situations, optimizing the overall accuracy will lead to highly skewed predictions towards the majority class. Moreover, the negative business impact resulting from false positives (positive samples incorrectly classified as negative) can be detrimental. Many methods have been proposed to address the class imbalance problem, including methods such as over-sampling, under-sampling and cost-sensitive methods. In this paper, we consider the over-sampling method, where the aim is to augment the original dataset with synthetically created observations of the minority classes. In particular, inspired by the recent advances in generative modelling techniques (e.g., Variational Inference and Generative Adversarial Networks), we introduce a new oversampling technique based on variational autoencoders. Our experiments show that the new method is superior in augmenting datasets for downstream classification tasks when compared to traditional oversampling methods.

研究の動機と目的

• 実世界のデータセットにおけるクラス不均衡の課題に対処すること。マイノリティークラスの誤分類は、ビジネス的・医療的リスクを引き起こす。
• 従来の手法（例：SMOTE や ADASYN）よりも品質の高い合成マイノリティーサンプルを生成する生成的オーバーサンプリング手法を開発すること。
• 変分推論とVAEsのアプローチを、表形式データおよび画像データの両方におけるマイノリティークラスのデータ拡張に応用することを検討すること。
• VOSの有効性を、F1スコア、精度、正答率といった分類指標の向上を評価すること。
• ロジスティック回帰、MLP、ランダムフォレスト、CNN といった異なる分類器および表形式データと画像データといった異なるデータタイプへの汎用性を実証すること。

提案手法

• VOSは二段階のVAEアーキテクチャを採用する。最初のエンコーダーは入力特徴量を潜在空間 $ z_1 $ にマップし、2番目のエンコーダーは $ z_1 $ を精緻化された潜在空間 $ z_2 $ にマップする。この際、ターゲットラベルが $ z_2 $ の条件付けに用いられる。
• モデルは変分推論を用いて訓練され、マイノリティークラスデータの対数尤度の下界を最大化することで、生成プロセスのエンドツーエンド学習を可能にする。
• 合成マイノリティーサンプルは、$ z_2 $ における学習済み事前分布からサンプリングし、生成ネットワークを経由して復元し、元の特徴空間に再構築することで生成される。
• 画像データの場合、VOSで生成されたフラットなベクトルは、CNN分類器に渡す前に3次元画像テンソルに再整形される。
• ダウンストリーム学習中に生成データへの過学習を防ぐため、サンプル重みパラメータ（合成サンプルに対して0.2に設定）を導入している。
• 本手法は多クラス設定へも拡張され、ロジスティック回帰、MLP、ランダムフォレスト、CNN といった多様な分類器を用いて検証された。

実験結果

リサーチクエスチョン

• RQ1 変分オートエンコーダーを基盤とする生成モデルは、クラスバランスの取れていないデータセットにおいて、従来のオーバーサンプリング手法（例：SMOTE や ADASYN）を上回る分類性能を示せるか？
• RQ2 VOSは、ロジスティック回帰、MLP、ランダムフォレスト、CNN といった異なるダウンストリーム分類器において、どのように性能を発揮するか？
• RQ3 不正検出やがん診断といったハイリスクな応用において、VOSはマイノリティークラス予測のF1スコアおよび精度をどの程度向上させるか？
• RQ4 VAEにおける二段階の潜在構造を用いることで、標準的なVAEと比較して生成されたマイノリティーサンプルの品質と多様性が向上するか？
• RQ5 本手法は、表形式データや高次元の画像データといった異なるデータモダリティにどの程度一般化可能か？

主な発見

• 不正検出データセットでは、VOS+LRがF1スコア0.852、精度0.802を達成し、SMOTE+LR（F1: 0.852、精度: 0.105）および ADASYN+LR（F1: 0.852、精度: 0.035）を顕著に上回った。
• MLP分類器の実験では、VOS+MLPがF1スコア0.863、精度0.830を達成し、SMOTE+MLP（F1: 0.852、精度: 0.236）および ADASYN+MLP（F1: 0.863、精度: 0.230）を上回った。
• ランダムフォレストの実験では、VOS+RFがF1スコア0.773、精度0.667を達成し、SMOTE+RF（F1: 0.891、精度: 0.905）および ADASYN+RF（F1: 0.878、精度: 0.878）を上回ったが、オーバーサンプリングなしのRFでも同等の性能を示した。
• BreakHis画像データセットでは、VOS+CNNがF1スコア0.965、正答率0.943を達成し、ベースラインCNN（F1: 0.926、正答率: 0.900）を顕著に上回った。
• ロジスティック回帰およびMLPにおいて、VOSによる性能向上は特に精度およびF1スコアで顕著であり、マイノリティークラスの識別能力の向上を示している。
• 合成データに0.2に設定したサンプル重みの使用は結果にほとんど影響を及ぼさなかったため、本手法はクラス重みの調整に対して頑健であると示唆された。