[論文レビュー] Fine-Tuning Pre-trained Language Model with Weak Supervision: A Contrastive-Regularized Self-Training Approach

Yue Yu, Simiao Zuo+4 more|arXiv (Cornell University)|Oct 15, 2020

Topic Modeling参考文献 44被引用数 5

ひとこと要約

この論文では、ラベルなしのデータを一切使用せずに弱い監視のみで事前学習済み言語モデルを微調整する対照的正則化付き自己訓練フレームワーク、COSINEを提案する。対照的正則化により表現学習を向上させ、信頼度に基づく再重み付けにより誤りのある疑似ラベルの影響を低減することで、COSINEは完全に監視された手法と同等の性能を達成し、Yelpでは完全に監視された微調整の97.2％に対し96.0％の正確度を達成した。

ABSTRACT

Fine-tuned pre-trained language models (LMs) have achieved enormous success in many natural language processing (NLP) tasks, but they still require excessive labeled data in the fine-tuning stage. We study the problem of fine-tuning pre-trained LMs using only weak supervision, without any labeled data. This problem is challenging because the high capacity of LMs makes them prone to overfitting the noisy labels generated by weak supervision. To address this problem, we develop a contrastive self-training framework, COSINE, to enable fine-tuning LMs with weak supervision. Underpinned by contrastive regularization and confidence-based reweighting, this contrastive self-training framework can gradually improve model fitting while effectively suppressing error propagation. Experiments on sequence, token, and sentence pair classification tasks show that our model outperforms the strongest baseline by large margins on 7 benchmarks in 6 tasks, and achieves competitive performance with fully-supervised fine-tuning methods.

研究の動機と目的

• ラベル付きデータが不足している、または利用できない状況における事前学習済み言語モデルの微調整の課題に対処すること。
• 弱い監視による自己訓練において、誤りのある疑似ラベルが原因で誤差が拡大するのを軽減すること。
• 対照的正則化と信頼度に基づく再重み付けを活用することで、弱い監視下でのモデルの汎化性能とロバスト性を向上させること。
• 弱い監視のソースに関する事前知識が不要な、柔軟でタスクに依存しないフレームワークを構築すること。
• 完全に監視された微調整と同等の性能を達成しつつ、弱いラベルと未ラベルデータにのみ依存すること。

提案手法

• COSINEは二段階の訓練プロセスを採用する：まず、早期停止を伴う弱いラベル付きデータでモデルを微調整する。
• 次に、未ラベルデータに対して対照的自己訓練を適用し、疑似ラベルを生成して特徴空間を正則化する。同じクラスのサンプルを近づけ、異なるクラスのサンプルを遠ざけることで、特徴空間を最適化する。
• 信頼度に基づく再重み付けにより、学習中に高信頼度の予測に重点を置くことで、誤った疑似ラベルの影響を低減する。
• 信頼度正則化により、過剰に自信を持つ予測を抑制することで、ノイズの多いラベルへの感受性を低減し、モデルの滑らかさを保つ。
• 少量のクリーンなラベルが利用可能な場合、半教師あり学習への拡張が可能である。
• 本手法は弱い監視のソースに依存せず、意味的ルール、パターンマッチング、クラウドソーシングによるラベルをサポートする。

実験結果

リサーチクエスチョン

• RQ1 弱い監視下で、対照的自己訓練フレームワークが、事前学習済み言語モデルの微調整段階におけるラベルノイズを効果的に低減できるか。
• RQ2 信頼度に基づく再重み付けと正則化は、自己訓練における誤った疑似ラベルに対するロバスト性をどのように向上させるか。
• RQ3 弱い監視下のモデルが、完全に監視された微調整と同等の性能をどの程度達成できるか。
• RQ4 本フレームワークは、シーケンス、トークン、文ペア分類を含むさまざまなNLPタスクに一般化可能か。
• RQ5 バイアスのあるラベルやランダムに破損したラベルなどのさまざまなタイプのラベルノイズに対して、モデルはどの程度の性能を示すか。

主な発見

• COSINEは、7つの公開ベンチマークで評価された6つのNLP分類タスクすべてにおいて、最も強力なベースラインモデルを上回った。
• Yelpデータセットでは、COSINEは96.0％の正確度を達成し、完全に監視された微調整の97.2％に非常に近い性能を示した。
• 対照的正則化と信頼度に基づく再重み付けのおかげで、バイアスのあるラベルノイズおよびランダムに破損したラベルノイズに対しても、強力なロバスト性を示した。
• ラベルなしのデータのみで学習しても、既存の弱い監視による微調整手法を著しく上回る競争力のある性能を達成した。
• 信頼度に基づく再重み付けと正則化は、誤差の拡大を効果的に抑制し、反復的な自己訓練における性能低下を防いだ。
• 本手法は、意味的ルールやクラウドソーシングによるラベルなど、多様な弱い監視ソースに柔軟に適用可能であり、ラベル関数の事前知識が不要である。