[論文レビュー] Supercharging Imbalanced Data Learning With Energy-based Contrastive Representation Transfer.

Junya Chen, Zidi Xiu+4 more|PubMed|Dec 1, 2021

Imbalanced Data Classification Techniques参考文献 14被引用数 8

ひとこと要約

本稿では、因果不変性を活用して多数クラスから少数クラスへ知識を転送するエネルギーベースの対照的表現転送（ECRT）という、不均衡データ学習のための新規手法を提案する。多数のサンプルから共通の不変なソース表現をモデル化することで、ECRTは効率的で一般化可能なデータ拡張を可能にし、最先端の手法を上回る性能を発揮し、CIFAR100ではF1スコア0.482を達成した。これは、ERM（0.439）やLDAM（0.408）を著しく上回る。

ABSTRACT

Dealing with severe class imbalance poses a major challenge for many real-world applications, especially when the accurate classification and generalization of minority classes are of primary interest. In computer vision and NLP, learning from datasets with long-tail behavior is a recurring theme, especially for naturally occurring labels. Existing solutions mostly appeal to sampling or weighting adjustments to alleviate the extreme imbalance, or impose inductive bias to prioritize generalizable associations. Here we take a novel perspective to promote sample efficiency and model generalization based on the invariance principles of causality. Our contribution posits a meta-distributional scenario, where the causal generating mechanism for label-conditional features is invariant across different labels. Such causal assumption enables efficient knowledge transfer from the dominant classes to their under-represented counterparts, even if their feature distributions show apparent disparities. This allows us to leverage a causal data augmentation procedure to enlarge the representation of minority classes. Our development is orthogonal to the existing imbalanced data learning techniques thus can be seamlessly integrated. The proposed approach is validated on an extensive set of synthetic and real-world tasks against state-of-the-art solutions.

研究の動機と目的

• 実世界の機械学習における深刻なクラス不均衡の課題に対処すること、特に少数クラスの一般化が重要な場合を想定する。
• ERM、再重み付け、サンプリングといった従来の手法の限界を克服すること。これらは、少数クラスのサンプルに過剰適合するため、一般化が困難である。
• 因果不変性の原則を活用して、特徴分布が異なる場合でも、ラベル間で共通する分離可能なソース表現を同定すること。
• 因果表現転送に基づくデータ拡張戦略を開発し、低データ環境におけるサンプル効率とモデルの頑健性を向上させること。
• 対照的学習、エネルギーモデリング、弱教師あり学習を統合し、不均衡データに柔軟かつ一般化可能なフレームワークを構築すること。

提案手法

• ラベル条件付き特徴の因果的生成メカニズムがラベル間で不変であるメタ分布的状況を定式化し、多数クラスから少数クラスへの知識転送を可能にする。
• エネルギーベースの対照的学習を用いて、主に多数クラスのサンプルのみを用いて特徴エンコーダーを訓練し、分離可能で不変なソース表現を学習する。
• 学習済みのソース表現を用いてパラメトリックな拡張分布を構築し、多様で現実的である合成少数クラスサンプルを生成する。
• 対照的学習の目的関数を適用し、実際の表現と拡張された表現の分布的乖離を最小化することで、因果不変性を維持するようにモデルを最適化する。
• エネルギーモデリングを用いて表現上のスコア関数を定義し、対照的目的関数の効率的かつ安定的な最適化を可能にする。
• 標準的な訓練パイプラインと統合することで、アーキテクチャの大幅な見直しを伴わずに、既存のモデルや損失関数にシームレスに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 顕著な分布的乖離があるにもかかわらず、因果不変性の原則を活用して、多数クラスから少数クラスへ知識を転送することは可能か？
• RQ2 エネルギーベースの対照的学習は、不均衡データにおける低サンプル環境下での表現転送と一般化をどのように向上させるか？
• RQ3 不変なソース表現に基づくパラメトリックなデータ拡張は、標準的な拡張法に比べて、少数クラス学習においてどの程度優れているか？
• RQ4 本手法は、数千のレアクラスと1クラスあたり数サンプル程度の極めて不均衡な分類設定にも一般化可能か？
• RQ5 因果性、対照的学習、エネルギーモデリングの統合は、多様なベンチマークデータセットにおいて一貫した性能向上をもたらすか？

主な発見

• CIFAR100データセットにおいてECRTはF1スコア0.482を達成し、ERM（0.439）、LDAM（0.408）、FOCAL（0.391）、SMOTE（0.444）を著しく上回った。
• iNaturalistデータセットでは、ECRTはERMやLDAMを常に上回り、特に低サンプル環境下で顕著なF1スコアの優位性を示した。すべてのラベル頻度バケットで優れた性能を発揮した。
• ECRTのソース空間モデリングに基づくパラメトリック拡張は、最大の性能向上をもたらしたが、強力な拡張は少数サンプルが限られる状況で性能を低下させる可能性がある。
• アブレーションスタディの結果、少数クラスデータを含まずに多数クラスでの事前学習を行うことで、より高い性能（トップ1: 51.79）が得られた。これは、少数データが誤った特徴を導入する可能性があることを示唆している。
• ECRTは極端な分類設定においても良好に一般化され、ERMを上回った。特に、ERMがランダム推測に僅かに上回る程度の性能しか発揮しない状況でも、意味のある性能を発揮した。
• t-SNE可視化により、ECRTがより分離可能で一般化可能な表現を学習していることが確認された。特に、拡張データを用いた際、少数クラスのクラスタリングが改善された。