[論文レビュー] Learning to Re-weight Examples with Optimal Transport for Imbalanced Classification

Dandan Guo, Zhuo Li+4 more|arXiv (Cornell University)|Aug 5, 2022

Imbalanced Data Classification Techniques被引用数 7

ひとこと要約

本論文は、不均衡分類のための新しい最適輸送に基づく再重み付け手法を提案する。この手法は、クラス再重み付けを分布近似問題として定式化し、不均衡なデータ分布とバランスの取れたデータ分布との間の最適輸送距離を最小化する。既存の手法とは異なり、重み学習を分類器から分離することで、画像、テキスト、点群データセットにおいて、クラス不均衡やクラス数の変動に対して高いロバスト性を示し、最先端の性能を達成する。

ABSTRACT

Imbalanced data pose challenges for deep learning based classification models. One of the most widely-used approaches for tackling imbalanced data is re-weighting, where training samples are associated with different weights in the loss function. Most of existing re-weighting approaches treat the example weights as the learnable parameter and optimize the weights on the meta set, entailing expensive bilevel optimization. In this paper, we propose a novel re-weighting method based on optimal transport (OT) from a distributional point of view. Specifically, we view the training set as an imbalanced distribution over its samples, which is transported by OT to a balanced distribution obtained from the meta set. The weights of the training samples are the probability mass of the imbalanced distribution and learned by minimizing the OT distance between the two distributions. Compared with existing methods, our proposed one disengages the dependence of the weight learning on the concerned classifier at each iteration. Experiments on image, text and point cloud datasets demonstrate that our proposed re-weighting method has excellent performance, achieving state-of-the-art results in many cases and providing a promising tool for addressing the imbalanced classification issue.

研究の動機と目的

• 深層学習におけるクラス不均衡の課題に対処すること。具体的には、多数クラスに支配され、少数クラスで性能が低下するモデルの問題を解決すること。
• 既存の再重み付け手法が重み学習を分類器の勾配に依存しているため、重み最適化が不正確になるという制限を克服すること。
• 最適輸送を用いて、再重み付けを分布近似問題として定式化し、不均衡な学習データをバランスの取れたメタ分布に一致させること。
• プロトタイプに基づく分布を用いることで、多くのクラスを含むデータセットに対しても、ロバストで柔軟かつメモリ効率の良いアプローチを開発すること。

提案手法

• 本手法は、不均衡な学習集合を離散的経験分布 P として表現し、各サンプルに学習可能な重み（確率質量）を割り当てる。
• バランスの取れたメタ集合を、均一な確率質量を持つ離散的経験分布 Q としてモデル化し、バランスの取れたターゲット分布を表す。
• P と Q 間の最適輸送（OT）距離を最小化することで重みを学習し、特徴量と正解ラベルに基づくコスト関数を用いる。
• OT損失を直接重みネットワークの学習に使用することで、重み最適化を分類器の勾配から分離し、安定的かつ独立した学習を可能にする。
• メモリコストを削減するため、個々のサンプルではなくクラスプロトタイプから Q を構築するプロトタイプ指向のOT損失を導入する。
• 学習可能な重みネットワークを用いたエンドツーエンド学習と、直接的なOTに基づく重み割り当ての両方をサポートし、重み学習中に分類器に依存する最小限の依存性を実現する。

実験結果

リサーチクエスチョン

• RQ1 分類器の勾配に依存せずに、最適輸送を用いて不均衡分類におけるサンプル重みを効果的に学習できるか？
• RQ2 既存の自動再重み付け手法と比較して、OTに基づく再重み付けは、異なるデータモダリティにおいて性能とロバスト性で優れているか？
• RQ3 クラス数が増加する場合、特に長尾設定下でも本手法は高い性能を維持できるか？
• RQ4 プロトタイプベースのOTバージョンは、全サンプルOTと比較して、メモリ効率と精度の面で優れているか？
• RQ5 本手法は、画像、テキスト、3次元点群といった異なるデータタイプに一般化できるか？

主な発見

• SST-2 および SST-5 のテキスト分類ベンチマークにおいて、極端な不均衡（1000:100）下で、それぞれ 87.08% および 87.13% の精度を達成し、Logit Adjustment や Hu らの手法を含むすべてのベースラインを上回った。
• SST-5 で 500:50 のクラス不均衡が生じた場合、44.95% の精度を達成し、次に優れた手法（制約ベースの再重み付け：44.62%）を顕著に上回り、高い不均衡耐性を示した。
• 画像分類において、複数のデータセットで最先端の結果を達成し、既存の再重み付け手法およびメタラーニングベースの手法を一貫して上回った。
• プロトタイプベースのOTバージョンは、全サンプルOTと同等の性能を達成しながら、メモリ使用量を著しく削減し、大規模クラスのデータセットへのスケーラビリティを実現した。
• 本手法は、画像、テキスト、3次元点群データにおいて一貫した性能を示し、異なるデータモダリティにわたる一般化性とロバスト性を裏付けた。
• アブレーションスタディにより、分類器からの分離が重み最適化の安定性と正確性を高め、特に長尾状況下で顕著な効果を示すことが確認された。