[論文レビュー] LIME: Weakly-Supervised Text Classification Without Seeds

Seongmin Park, Jihwa Lee|arXiv (Cornell University)|Oct 13, 2022

Topic Modeling被引用数 6

ひとこと要約

LIMEは、汎用テキスト entailment モデルを用いてシードワードベースの偽ラベル付けを置き換える、新しい弱教師付きテキスト分類フレームワークを提案する。entailment を用いて偽ラベルを割り当て、自己学習を適用することで、4つのベンチマークで最先端の性能を達成し、一部のデータセットでは従来手法より最大10 F1ポイント優れている。

ABSTRACT

In weakly-supervised text classification, only label names act as sources of supervision. Predominant approaches to weakly-supervised text classification utilize a two-phase framework, where test samples are first assigned pseudo-labels and are then used to train a neural text classifier. In most previous work, the pseudo-labeling step is dependent on obtaining seed words that best capture the relevance of each class label. We present LIME, a framework for weakly-supervised text classification that entirely replaces the brittle seed-word generation process with entailment-based pseudo-classification. We find that combining weakly-supervised classification and textual entailment mitigates shortcomings of both, resulting in a more streamlined and effective classification pipeline. With just an off-the-shelf textual entailment model, LIME outperforms recent baselines in weakly-supervised text classification and achieves state-of-the-art in 4 benchmarks. We open source our code at https://github.com/seongminp/LIME.

研究の動機と目的

• 弱教師付きテキスト分類におけるシードワードベースの偽ラベル付けの脆さと不柔軟性を解消すること。
• キーワード照合よりも、entailmentに基づく分類がより強固で柔軟な偽ラベルを提供できるかどうかを検証すること。
• 低リソース環境における自己学習性能に与える偽ラベル信頼度のしきい値の影響を調査すること。
• entailmentに基づくラベル付けと自己学習を組み合わせることで、分類精度と耐性が向上することを示すこと。
• タスク固有のシードワードの調整を必要とせず、既存の弱教師付きベースラインを上回る、簡潔でシードフリーのパイプラインを提供すること。

提案手法

• 従来のシードワード生成を、テキストentailmentモデルによる偽ラベル割り当てに置き換える。
• 各クラスラベルを仮説（例：「このテキストは <ラベル> についてである」）として定式化し、テストドキュメントと各仮説との間のentailmentスコアを計算する。
• 最も高いentailmentスコアを持つ仮説を、テストサンプルの偽ラベルとして採用する。
• 自己学習を用いて、偽ラベル付きデータセット上で別個のニューラルテキスト分類器を学習する。
• 信頼度しきい値を適用して、低信頼度の偽ラベルをフィルタリングし、データセットサイズとラベル品質のバランスを取る。
• 微調整なしで利用可能なオフザシェル事前学習済みentailmentモデル（例：DeBERTaベース）を用いることで、即時導入が可能になる。

実験結果

リサーチクエスチョン

• RQ1 entailmentに基づく偽ラベル付けは、シードワードベースの手法を上回る性能を示せるか？
• RQ2 entailmentに基づく偽ラベルの信頼度と、下流分類精度の相関関係は何か？
• RQ3 低信頼度の偽ラベルをフィルタリングするのと、自己学習に十分な訓練データを保持するのとの最適なバランスは何か？
• RQ4 自己学習は、多様なドメインにわたる純粋なentailmentベース分類で観察される耐性の問題を緩和できるか？
• RQ5 シードフリーでentailment駆動のパイプラインは、弱教師付きテキスト分類で最先端の性能を達成できるか？

主な発見

• LIMEは4つの標準ベンチマークで最先端の性能を達成した：20News（79.74/79.56 micro/macro-F1）、AGNews（87.21/87.16）、Yelp（95.22/95.22）、DBpedia（92.19/92.20）、従来のSOTA手法を上回った。
• 最終の自己学習分類器は、原始的なentailment分類器に比べてF1スコアを約10ポイント向上させ、誤り訂正における自己学習の有効性を示した。
• 偽ラベルの平均信頼度が高いほど、entailment分類器および自己学習モデルの両方で分類精度が向上する傾向が強く見られた。
• 信頼度しきい値を50%〜70%の範囲に設定すると、ラベル品質と訓練セットサイズのバランスが最良となり、70%のしきい値で性能がピークに達した。
• このフレームワークはドメインシフトに対しても耐性があり、従来手法とは異なり、タスク固有のシードワードの調整を必要としなかった。
• LIMEの性能は、特にYelp（95.22 F1）で教師ありベースラインに近づき、低リソース環境における強力な一般化能力を示した。