[論文レビュー] M2m: Imbalanced Classification via Major-to-minor Translation

Jaehyung Kim, Jongheon Jeong+1 more|arXiv (Cornell University)|Apr 1, 2020

Imbalanced Data Classification Techniques参考文献 43被引用数 18

ひとこと要約

本稿では、事前に学習された分類器を用いてマジョリティクラスのサンプルを翻訳することで、マイノリティクラスの合成サンプルを生成する、不均衡分類のための新しいデータオーグメンテーション手法M2mを提案する。アドバーシャルに似た摂動を用いてマジョリティクラスの多様な特徴を活用することで、M2mはマイノリティクラスの一般化性能を顕著に向上させ、Reutersのような極端な長尾データセットにおいて、最先端の手法LDAMよりも最大17.1%高いバランス精度を達成する。

ABSTRACT

In most real-world scenarios, labeled training datasets are highly class-imbalanced, where deep neural networks suffer from generalizing to a balanced testing criterion. In this paper, we explore a novel yet simple way to alleviate this issue by augmenting less-frequent classes via translating samples (e.g., images) from more-frequent classes. This simple approach enables a classifier to learn more generalizable features of minority classes, by transferring and leveraging the diversity of the majority information. Our experimental results on a variety of class-imbalanced datasets show that the proposed method improves the generalization on minority classes significantly compared to other existing re-sampling or re-weighting methods. The performance of our method even surpasses those of previous state-of-the-art methods for the imbalanced classification.

研究の動機と目的

• 極度に不均衡なデータセットで学習された深層ニューラルネットワークにおける一般化性能の低さ、特にマイノリティクラスに対する課題に対処すること。
• マイノリティデータが不足するため、極端なクラス不均衡下で機能を失う既存のリサンプリングおよびリウェートィング手法の限界を克服すること。
• マジョリティクラスの多様性が、マイノリティクラスのより一般化可能な特徴の学習に活用できるかを検討すること。
• 既存のマイノリティサンプルに依存せずに、過学習を避けるシンプルで効果的なオーバーサンプリング戦略を開発すること。

提案手法

• M2mは、事前に学習された分類器によって特定のマイノリティクラスに分類されるように、マジョリティサンプルをアドバーシャル摂動によって最適化することで、合成マイノリティサンプルを生成する。
• 元のサンプルに近いが同時にマイノリティクラスとして正しく分類されるように保証する、新しい最適化目的関数を導入することで、マジョリティクラスの性能を維持する。
• より頻度の高いマジョリティクラスからの翻訳を優遇するように設計されたサンプル拒否基準を導入し、生成されたサンプルの品質と多様性を向上させる。
• クラス頻度と拒否基準に基づいて、最適なサンプリング分布を提案し、翻訳のためのマジョリティシードを選択する。
• 2段階の訓練設定を採用する：まず不均衡データセット上で分類器を事前学習し、その後それを用いてマジョリティサンプルを合成マイノリティサンプルに翻訳する。
• 生成された合成サンプルを訓練中にマイノリティクラスをオーバーサンプリングするために使用し、過学習を避ける一方で一般化性能を向上させる。

Figure 1: An overview of the proposed method, called Major-to-minor Translation (M2m). M2m is based on the over-sampling method, and attempts to replace the over-sampled (duplicated) minority samples with synthetic ones translated from other majority samples. The more details are presented in Sectio

実験結果

リサーチクエスチョン

• RQ1 マジョリティクラスのサンプルをマイノリティクラス表現に翻訳することで、不均衡学習におけるマイノリティクラスの一般化性能が向上するか？
• RQ2 翻訳を用いてマジョリティサンプルの多様性を活用することで、従来のマイノリティオーバーサンプリング手法よりも優れた特徴学習が達成できるか？
• RQ3 サンプル翻訳におけるアドバーシャルに似た摂動の使用が、モデルの一般化性能とロバストネスに与える影響は何か？
• RQ4 既存のマイノリティサンプルを使用しない手法でも、極端な長尾データセットでSOTA性能を達成できるか？
• RQ5 M2mによる性能向上は、生成されたサンプルのアドバーシャル性に起因するのか、それともマジョリティ特徴の多様性に起因するのか？

主な発見

• CIFAR-LT-10, CIFAR-LT-100, ImageNet, CelebA, SUN397, Twitter, Reutersを含む、全テストデータセットにおいて、標準的なERMおよびリサンプリング／リウェートィングベースラインと比較して、M2mはバランス精度を顕著に向上させる。
• 極端なクラス不均衡を示すReutersデータセットでは、標準学習より17.1%、SOTAのマージンベース手法LDAMより9.2%高いバランス精度を達成する。
• アブレーションスタディの結果、アドバーシャル摂動を施さないクリアなマジョリティサンプル（M2m-Clean）を用いる場合、性能が著しく低下することが確認され、摂動の重要性が裏付けられる。
• t-SNE可視化により、他の手法と比較してM2mはマイノリティクラスの特徴表現がより分離可能で均等に分布していることが確認される。
• M2mの累積偽陽性曲線は、他の手法と比較して常に下に位置し、直線に近い傾向を示しており、全クラスにわたる誤差分布がより一様で低減していることが示される。
• マイノリティクラスに極めて少ないサンプルがある低データ環境でも、SMOTEやその変種を上回る性能を示し、本手法の有効性が裏付けられる。

Figure 2: An illustration of M2m generation. A majority seed $x_{0}$ is translated to a synthetic minority $x^{*}$ based on the decision boundary of $g$ . By incorporating $x^{*}$ , $f$ learns an extended decision boundary of the target minority class.