[論文レビュー] PRBoost: Prompt-Based Rule Discovery and Boosting for Interactive Weakly-Supervised Learning

Rongzhi Zhang, Yue Yu+3 more|arXiv (Cornell University)|Mar 18, 2022

Text and Document Classification Technologies被引用数 12

ひとこと要約

PRBoost は、プロンプトベースの言語モデルを用いて反復的に高品質なラベル付けルールを発見し、ブースティング型アンサンブル戦略でモデル性能を向上させる、画期的なインタラクティブな弱教師付き学習フレームワークである。4つの自然言語処理タスクにおいて、最先端の WSL ベースラインを最大 7.1% の精度向上で上回り、完全教師ありモデルとの差を顕著に縮小している。

ABSTRACT

Weakly-supervised learning (WSL) has shown promising results in addressing label scarcity on many NLP tasks, but manually designing a comprehensive, high-quality labeling rule set is tedious and difficult. We study interactive weakly-supervised learning -- the problem of iteratively and automatically discovering novel labeling rules from data to improve the WSL model. Our proposed model, named PRBoost, achieves this goal via iterative prompt-based rule discovery and model boosting. It uses boosting to identify large-error instances and then discovers candidate rules from them by prompting pre-trained LMs with rule templates. The candidate rules are judged by human experts, and the accepted rules are used to generate complementary weak labels and strengthen the current model. Experiments on four tasks show PRBoost outperforms state-of-the-art WSL baselines up to 7.1% and bridges the gaps with fully supervised models. Our Implementation is available at \\url{https://github.com/rz-zhang/PRBoost}.

研究の動機と目的

• 静的でルールベースの弱教師付き学習の限界、すなわち初期のラベル付けルールセットがしばしば不完全で誤りを含む問題に対処する。
• インスタンスレベルのラベル付けからルールレベルのラベル付けに移行することで、人間のアノテーションコストを低減する。ここで1つのルールが多数のインスタンスをラベル付け可能となる。
• ブースティングに基づく戦略を通じて、大きな誤差を示すインスタンスに注目することで、モデル性能を反復的に向上させる。
• 事前学習済み言語モデルをルールテンプレートでプロンプトすることで、表現力が高く意味的に豊かなラベル付けルールを生成する。
• 継続的なルールの最適化とモデルのブースティングを通じて、弱教師付きと完全教師ありの NLP モデル間の性能差を埋める。

提案手法

• プロンプトベースのルール発見モジュールは、識別が難しいインスタンスとルールテンプレートを事前学習済み言語モデルにプロンプトすることで、候補となるラベル付けルールを生成する。
• 反復的ブースティング戦略により、モデルの誤差に基づいて訓練インスタンスの重みを再割り当てし、大きな誤差を示すサンプルに注目することで、モデルの汎化性能を向上させる。
• 人間が関与する評価フェーズでは、専門家が二値判断により候補となるルールを受容または拒否することで、高品質なルール統合を保証する。
• 受容されたルールは、新しい弱いラベルを生成するために使用され、既存の弱いラベルと組み合わせて、弱いモデルのアンサンブルを訓練する。
• 自己学習を適用することで、ラベルなしデータを活用し、特に新しいルールでカバーされないインスタンスの汎化性能を向上させる。
• アンサンブルモデルは反復的に更新され、各ラウンドで予測が精緻化され、補完的なルールセットを通じてルールカバレッジが拡大する。

実験結果

リサーチクエスチョン

• RQ1 ハードなインスタンスからのプロンプトベースのルール発見は、n-gram やパターンベースの手法に比べ、より表現力が高く効果的なラベル付けルールを生成できるか？
• RQ2 弱教師付き学習において、反復的ルール発見とブースティング戦略を用いることで、静的ルールセットに比べてモデル性能がどのように向上するか？
• RQ3 ラベル効率とモデル精度の観点から、ルールレベルのアノテーションがインスタンスレベルのアノテーションをどれほど上回るか？
• RQ4 プロンプトベースのルール生成と人間による評価を組み合わせることで、より高品質な弱いラベルが得られ、モデルの汎化性能が向上するか？
• RQ5 適応的ルール発見を組み込んだ反復的ブースティング戦略は、誤りの伝搬をどのように低減させ、モデルのロバスト性を向上させるか？

主な発見

• PRBoost は、関係抽出、オントロジー分類、トピック分類、化学物質-タンパク質相互作用予測の4つの NLP タスクにおいて、最先端の弱教師付き学習ベースラインを最大 7.1% の精度向上で上回った。
• AG News データセットでは、10ラウンドの反復後、モデルの精度が 86.7% から 88.9% に向上し、反復的ルール最適化による一貫した性能向上が確認された。
• ルールカバレッジは 56.4% から 77.8% に、ルール精度は 83.1% から 85.6% に向上し、新しいルールがより包括的かつ正確であることが示された。
• アブレーションスタディにより、反復的ブースティング戦略にルール発見を組み込むことで、非反復的ルール発見に比べて 1.2% の性能向上が確認された。
• 自己学習を除去すると性能が 0.6% 減少したため、自己学習がカバー範囲外のインスタンスの汎化性能を向上させていることが示された。
• 「w/o rule」というアブレーションでは、性能が 1.5% 減少したため、新たに発見された補完的ルールが、モデルアンサンブル単体の向上を超える性能向上に不可欠であることが証明された。