[論文レビュー] Two-Stage Fine-Tuning: A Novel Strategy for Learning Class-Imbalanced Data

Taha ValizadehAslani, Yiwen Shi+6 more|arXiv (Cornell University)|Jul 22, 2022

Imbalanced Data Classification Techniques被引用数 4

ひとこと要約

本稿では、テキスト分類におけるクラス不均衡問題に対処するため、2段階のファインチューニング戦略を提案する。最終層は、まずクラスバランスを考慮した再重み付け損失を用いてファインチューニングされ、その後通常のファインチューニングが実施される。この手法により、初期表現学習段階で少数クラスを保護することで、合成データおよび実世界のADME意味ラベル付けデータセットにおいて、標準的および再重み付けファインチューニングを上回る、末尾クラスのパフォーマンスが向上する。

ABSTRACT

Classification on long-tailed distributed data is a challenging problem, which suffers from serious class-imbalance and hence poor performance on tail classes with only a few samples. Owing to this paucity of samples, learning on the tail classes is especially challenging for the fine-tuning when transferring a pretrained model to a downstream task. In this work, we present a simple modification of standard fine-tuning to cope with these challenges. Specifically, we propose a two-stage fine-tuning: we first fine-tune the final layer of the pretrained model with class-balanced reweighting loss, and then we perform the standard fine-tuning. Our modification has several benefits: (1) it leverages pretrained representations by only fine-tuning a small portion of the model parameters while keeping the rest untouched; (2) it allows the model to learn an initial representation of the specific task; and importantly (3) it protects the learning of tail classes from being at a disadvantage during the model updating. We conduct extensive experiments on synthetic datasets of both two-class and multi-class tasks of text classification as well as a real-world application to ADME (i.e., absorption, distribution, metabolism, and excretion) semantic labeling. The experimental results show that the proposed two-stage fine-tuning outperforms both fine-tuning with conventional loss and fine-tuning with a reweighting loss on the above datasets.

研究の動機と目的

• 長尾型でクラスに不均衡なテキスト分類データセットにおける末尾クラスのパフォーマンスが低いという課題に対処すること。
• 事前学習モデルの標準的ファインチューニングにおいて、代表度が低いクラスが直面する不利な状況を軽減すること。
• 全モデルを再訓練することなく、少数クラスの学習を強化する、シンプルでありながら効果的な標準的ファインチューニングの修正を考案すること。
• 合成および実世界のテキスト分類ベンチマーク（ADME意味ラベル付けを含む）において、この手法を評価すること。
• 初期段階でクラスバランスを考慮した損失を用いたファインチューニングが、長尾型データ分布における下流タスクのパフォーマンスを向上させることを示すこと。

提案手法

• 事前学習モデルの最終分類層を、少数クラスを優先するクラスバランスを考慮した再重み付け損失を用いてファインチューニングする。
• 再重み付け損失は、少数クラスからの損失寄与に高い重みを付与することで、その希少性を補償する。
• 第1段階の後、全モデルを第2段階で標準的な交差エントロピー損失を用いてファインチューニングする。
• 第1段階では、他のモデルパラメータは固定されたまま維持され、事前学習済み表現が保存される。
• 第2段階ではモデル全体の能力を活用しつつ、初期学習段階でクラス不均衡に注目する。
• このアプローチは、最小限のアーキテクチャ変更で、多クラスおよび2クラスのテキスト分類タスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 2段階のファインチューニング戦略は、長尾型テキスト分類データセットにおける少数クラスのパフォーマンスを向上させることができるか？
• RQ2 クラスバランスを考慮した再重み付け損失を用いた初期ファインチューニングは、標準的ファインチューニングと比較して、代表度が低いクラスの表現学習をより良くするか？
• RQ3 本手法は、標準的ファインチューニングおよび再重み付け損失を用いたファインチューニングと比較して、末尾クラスのパフォーマンスで優れているか？
• RQ4 2段階戦略は、合成および実世界のクラス不均衡を有するテキスト分類タスクの両方で有効であるか？
• RQ5 第1段階で全モデルをファインチューニングしない場合でも、本手法はより良いパフォーマンスを達成できるか？

主な発見

• 2段階ファインチューニング手法は、合成2クラスおよび多クラステキスト分類データセットにおいて、標準的ファインチューニングおよび再重み付け損失を用いたファインチューニングと比較して、末尾クラスで優れたパフォーマンスを達成した。
• ADME意味ラベル付けタスクでは、本手法が少数クラスのF1スコアを顕著に向上させ、実世界応用における有効性を示した。
• 第1段階の再重み付け損失は、初期学習段階で少数クラスが無視されないよう効果的に保護し、より良い一般化をもたらした。
• 本手法はヘッドクラスのパフォーマンスを維持しながら、末尾クラスのパフォーマンスを顕著に向上させ、クラス分布全体にわたるバランスの取れた改善を示した。
• アブレーションスタディにより、2段階プロセスが不可欠であることが確認され、第1段階を省略すると少数クラスのパフォーマンスが低下した。