[論文レビュー] Cold-Start Data Selection for Few-shot Language Model Fine-tuning: A Prompt-Based Uncertainty Propagation Approach

Yue Yu, Rongzhi Zhang+4 more|arXiv (Cornell University)|Sep 15, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、ラベル付きデータが一切存在しない冷スタート状況下で、事前学習済み言語モデルの少数-shot微調整を行うためのプロンプトベースのデータ選択手法Patronを提案する。プロンプトベースの不確実性伝播を用いてサンプルの重要性を推定し、多様性を保証するためのパーティション・トゥ・リライト戦略を採用することで、ベースライン比最大6.9%の高い精度を達成し、128ラベルのみで完全教師あり学習性能の92.1%を達成した。

ABSTRACT

Large Language Models have demonstrated remarkable few-shot performance, but the performance can be sensitive to the selection of few-shot instances. We propose PATRON, a new method that uses prompt-based uncertainty estimation for data selection for pre-trained language model fine-tuning under cold-start scenarios, i.e., no initial labeled data are available. In PATRON, we design (1) a prompt-based uncertainty propagation approach to estimate the importance of data points and (2) a partition-then-rewrite (PTR) strategy to promote sample diversity when querying for annotations. Experiments on six text classification datasets show that PATRON outperforms the strongest cold-start data selection baselines by up to 6.9%. Besides, with 128 labels only, PATRON achieves 91.0% and 92.1% of the fully supervised performance based on vanilla fine-tuning and prompt-based learning respectively. Our implementation of PATRON is available at \url{https://github.com/yueyu1030/Patron}.

研究の動機と目的

• ラベル付きデータが存在しない状況下で、事前学習済み言語モデルの少数-shot微調整のための高品質な学習データを選択する課題に対処すること。
• 冷スタート条件下でのデータ選択戦略の改善により、低データ環境における性能のばらつきを低減すること。
• 初期のラベル付きデータや勾配ベースの不確実性に依存せずに、データ選択におけるサンプルの多様性と代表性を向上させること。
• プロンプトベースの偽ラベル付けと不確実性伝播を活用することで、事前学習と微調整のタスクのギャップを埋めること。
• 既存の冷スタートデータ選択ベースラインを凌駕する、ハイパーパrameterに強いロバストな手法を、低コスト設定で開発すること。

提案手法

• 分類タスクをクローズド形式のタスクに変換するため、プロンプトテンプレートとバーバライザーを用い、マスク言語モデルを用いてタスクに適した偽ラベルを生成する。
• 埋め込み空間におけるカーネルベースの類似度を用いてサンプルの相関を測定し、予測の不確実性を近隣サンプルに伝播させる。
• 不確実性伝播を導入し、自身と近隣サンプルの両方が不確実である領域を特定することで、高いデータ有用性を示す領域を同定する。
• 2段階のパーティション・トゥ・リライト（PTR）戦略を採用：まずK-meansを用いてデータをクラスタリングし、次にkNNベースの近隣グラフと距離正則化を用いて選択されたサンプルを最適化する。
• RoBERTaベースの埋め込みにおける劣化を軽減するため、SimCSE埋め込みを統合して意味的表現の質を向上させる。
• PTRに正則化項を導入し、各クラスタ内での選択サンプル同士が互いに近すぎないよう制御することで、多様性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが存在しない冷スタート状況下で、プロンプトベースの偽ラベル付けがデータ選択をどのように改善できるか？
• RQ2 完全教師ありラベルが得られない状況下で、少数-shot微調整において不確実性を信頼性高く推定・伝播できるか？
• RQ3 勾配やモデル更新信号に依存せずに、パーティション・トゥ・リライト戦略が効果的にサンプルの多様性を向上させられるか？
• RQ4 プロンプトベースの不確実性と埋め込みベースの類似度を組み合わせることで、データ選択性能がどの程度向上するか？
• RQ5 低ラベル予算下で、ハイパーパrameterの選択に対して本手法はどの程度ロバストか？

主な発見

• Patronは、6つのテキスト分類データセットにおいて、最も競争力のある冷スタートデータ選択ベースラインを最大6.9%上回った。
• わずか128ラベルの例のみで、完全教師あり微調整性能の91.0%を達成し、完全教師ありプロンプトベース学習性能の92.1%を達成した。
• SimCSE埋め込みの導入により、RoBERTaベースのモデルにおける埋め込みの劣化を軽減し、性能が著しく向上した。
• 不確実性伝播により、モデルの不確実性が高い領域を特定し、ベースラインの不確実性推定法よりも優れたデータ有用性推定が可能になった。
• PTR戦略により、サンプル間の距離が効果的に制御され、多様性が向上し、全体的な性能向上に寄与した。
• Patronはハイパーパrameterの設定に対してロバストであり、ρ、β、γの異なる値に対しても性能が安定しており、反復的チューニングにより最適値が特定された。