[論文レビュー] How Re-sampling Helps for Long-Tail Learning?

Jiang-Xin Shi, Wei Tong+2 more|arXiv (Cornell University)|Oct 27, 2023

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

リサンプリングは、訓練データが不関連な文脈を欠く場合に長尾学習の一般化を改善できる。単一段階フレームワークで、誤作為的相関を回避し tail クラスの性能を強化するためのコンテキストシフト増強モジュールを提案する。

ABSTRACT

Long-tail learning has received significant attention in recent years due to the challenge it poses with extremely imbalanced datasets. In these datasets, only a few classes (known as the head classes) have an adequate number of training samples, while the rest of the classes (known as the tail classes) are infrequent in the training data. Re-sampling is a classical and widely used approach for addressing class imbalance issues. Unfortunately, recent studies claim that re-sampling brings negligible performance improvements in modern long-tail learning tasks. This paper aims to investigate this phenomenon systematically. Our research shows that re-sampling can considerably improve generalization when the training images do not contain semantically irrelevant contexts. In other scenarios, however, it can learn unexpected spurious correlations between irrelevant contexts and target labels. We design experiments on two homogeneous datasets, one containing irrelevant context and the other not, to confirm our findings. To prevent the learning of spurious correlations, we propose a new context shift augmentation module that generates diverse training images for the tail class by maintaining a context bank extracted from the head-class images. Experiments demonstrate that our proposed module can boost the generalization and outperform other approaches, including class-balanced re-sampling, decoupled classifier re-training, and data augmentation methods. The source code is available at https://www.lamda.nju.edu.cn/code_CSA.ashx.

研究の動機と目的

• リサンプリングが多様なデータセットで長尾学習を助けるのか、それとも害を及ぼすのかを調査する。
• リサンプリング性能における不関連コンテキストの役割を特定する。
• 単一段階の長尾学習におけるコンテキスト誘発の誤相関を抑制する方法を提案する。
• 複数の長尾ベンチマークで提案手法を確立済みのベースラインと比較して評価する。

提案手法

• Uniform、class-balanced、ベースライン CB-RS 設定の下で、いくつかの長尾データセットに対してリサンプリングを経験的に分析する。
• Grad-CAM の可視化を用いて、文脈依存とラベル関連特徴の依存度を検査する。
• 関連性の低い文脈がリサンプリングでオーバーフィットを引き起こし、uniform sampling が時に class-balanced sampling よりも優れることがあることを実証する。
• ヘッドクラスの豊富な文脈を抽出し、それを tail-class データへ paste する memory bank of contexts を介して、コンテキストシフト増強モジュールを導入する。
• 特徴抽出器を共有し、分類器を別々に持つエンドツーエンドのフレームワークで、uniform-sampling モジュールが balanced re-sampling モジュールへ文脈を提供するデュアルブランチ構成を訓練する。
• CIFAR10-LT、CIFAR100-LT、ImageNet-LT を多様なベースラインと比較して評価する。

実験結果

リサーチクエスチョン

• RQ1 リサンプリングは普遍的に長尾学習を改善するのか、それとも semantically irrelevant contexts の有無に依存するのか。
• RQ2 ヘッドクラスの文脈を tail-class データの拡張に利用して、 irrelevant backgrounds への過剰適合を防げるのか。
• RQ3 提案された context-shift augmentation は、class-balanced re-sampling や two-stage 手法と比べてエンドツーエンド訓練でどの程度性能を発揮するのか。
• RQ4 CIFAR-LT や ImageNet-LT のような共通の長尾ベンチマークで提案手法は競争力があるのか。

主な発見

• 訓練データが不関連な文脈を欠く場合、リサンプリングは tail-class の性能を大幅に向上させる可能性がある。
• 関連性の低い文脈が存在すると、リサンプリングは過適合して不適切な相関を学習してしまうことがある。
• ヘッドクラスの文脈を tail-class 画像へ転送する context shift augmentation モジュールは、一般化を改善し、いくつかのベースラインを上回る。
• 提案手法（CSA）は CIFAR10-LT、CIFAR100-LT、ImageNet-LT で競争力のある結果を達成し、しばしば class-balanced re-sampling や decoupled classifier 手法を上回る。
• エンドツーエンドの CSA における文脈増強は、表現学習と分類器性能の双方で、2段階訓練より優位性を示す。