[論文レビュー] Zero-Shot Text Classification with Self-Training

Ariel Gera, Alon Halfon+4 more|arXiv (Cornell University)|Oct 31, 2022

Topic Modeling被引用数 4

ひとこと要約

この論文では、ラベルなしデータやドメイン専門知識を必要とせず、クラス名とラベルなしデータのみを用いてゼロショットテキスト分類を向上させる、プラグアンドプレイ型の自己学習手法を提案する。事前学習済み自然言語推論モデルを自身の高信頼度予測で微調整することにより、多様なテキスト分類タスクで顕著な性能向上を達成し、自己学習が汎用的ゼロショットモデルを特定の下流タスクに効果的に適応させられることを示している。

ABSTRACT

Recent advances in large pretrained language models have increased attention to zero-shot text classification. In particular, models finetuned on natural language inference datasets have been widely adopted as zero-shot classifiers due to their promising results and off-the-shelf availability. However, the fact that such models are unfamiliar with the target task can lead to instability and performance issues. We propose a plug-and-play method to bridge this gap using a simple self-training approach, requiring only the class names along with an unlabeled dataset, and without the need for domain expertise or trial and error. We show that fine-tuning the zero-shot classifier on its most confident predictions leads to significant performance gains across a wide range of text classification tasks, presumably since self-training adapts the zero-shot model to the task at hand.

研究の動機と目的

• 汎用的ゼロショットテキスト分類器の性能制限を是正すること。これは、タスク固有の適応が不足しているため、教師ありモデルに比べて性能が劣ることが多い。
• 自己学習が、ラベルなしデータとクラス名のみを用いて、市販のゼロショットモデルを下流タスクに効果的に適応できるかどうかを検証すること。
• 最小限の作業とラベルなしデータを必要とし、実用的で即時利用可能な手法を提供することにより、実務家が最小限の干渉でモデル性能を向上させられることを目的とする。
• 自己学習が、多様なテキスト分類ベンチマークにおいて、帰納的ベースのゼロショット分類器を適応させる有効性を評価すること。
• 自己学習が、事前学習モデルと下流タスクの間の分布ギャップを埋めるために、モデルをタスク固有の特徴に適応させることで、そのギャップを縮小できるかどうかを調査すること。

提案手法

• 各入力テキストを、クラス名を含む仮説テンプレート（例：「このテキストは[クラス]についてのものである」）でプロンプトし、事前学習済み自然言語推論（NLI）モデルをゼロショット分類器として使用する。
• モデルはラベルなしデータセット上で予測を行い、上位k個の例を選択する。その基準は、上位スコアと2番目の上位スコアとの差（信頼度）として定義される。
• これらの高信頼度予測は、仮のラベルとして扱われ、元のゼロショットモデルを自己学習ループで微調整するために使用される。
• このプロセスは反復的である：モデルは自身の仮ラベル付き予測で再訓練され、段階的にターゲットタスクの分布と言語的パターンに適応する。
• 信頼度ベースの例選択により、不確実な予測からのノイズが低減され、信頼性の高い予測のみが再訓練に使用される。
• この手法はプラグアンドプレイであり、クラス名とラベルなしデータセットのみを必要とし、追加のハイパーパramータチューニングやドメイン固有の知識は不要である。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータを用いて、ターゲットタスクのラベルなし例を必要とせずに、市販のゼロショットテキスト分類器の性能を顕著に向上させられるか？
• RQ2 自己学習が、一般向けゼロショットモデルを特定の下流タスクの言語的および分布的特徴に効果的に適応できるか？
• RQ3 ゼロショット設定において、自己学習による意味のある性能向上を得るために、どの程度のラベルなしデータ量が必要か？
• RQ4 ラベルなしデータが関連するが異なるドメインやタスクからでも、自己学習が性能向上をもたらせるか？
• RQ5 スケーラビリティと実用的使いやすさの観点から、自己学習は他のゼロショット適応手法と比べてどのように差がつくか？

主な発見

• 自己学習は、AG News、20 Newsgroups、DBPediaを含む標準ベンチマークで顕著な性能向上をもたらし、幅広いテキスト分類タスクで顕著な改善が確認された。
• たとえラベルなしデータが10,000例程度でも、この手法は効率的で実用的であることが示された。
• 性能向上の背景には、ターゲットタスクの分布へのモデル適応が存在する。自己学習により、事前学習モデルの一般知識とタスク固有のパターンとのギャップが埋められた。
• 関連ドメインからのラベルなしデータを用いたクロスタスク自己学習も、性能向上をもたらした。これは、同様のタスク間で本手法が良好に一般化できることを示している。
• クラス分布やテキスト長が異なる多様なデータセットに対しても、本手法はタスク固有のハイパーパramータチューニングなしで、強固で効果的であることが確認された。
• 著者らはコードと評価ツールを公開しており、自己学習によるゼロショット分類の再現性とさらなる研究を可能にしている。