[論文レビュー] Embroid: Unsupervised Prediction Smoothing Can Improve Few-Shot Classification

Neel Guha, Mayee F. Chen+4 more|arXiv (Cornell University)|Jul 20, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文では、未ラベルデータを用いて言語モデルの予測を精錬することで、少数ショットテキスト分類を向上させる弱教師付き手法Embroidを提案する。複数の埋め込み空間におけるk近傍の予測の一貫性を活用し、潜在変数モデルを用いてそれらを統合することで誤予測を是正する。GPT-JTでは平均F1スコアが7.3ポイント向上し、1.3Bパラメータのモデルが6.7Bのインstruct fine-tunedモデルを上回ることを可能にする。

ABSTRACT

Recent work has shown that language models' (LMs) prompt-based learning capabilities make them well suited for automating data labeling in domains where manual annotation is expensive. The challenge is that while writing an initial prompt is cheap, improving a prompt is costly -- practitioners often require significant labeled data in order to evaluate the impact of prompt modifications. Our work asks whether it is possible to improve prompt-based learning without additional labeled data. We approach this problem by attempting to modify the predictions of a prompt, rather than the prompt itself. Our intuition is that accurate predictions should also be consistent: samples which are similar under some feature representation should receive the same prompt prediction. We propose Embroid, a method which computes multiple representations of a dataset under different embedding functions, and uses the consistency between the LM predictions for neighboring samples to identify mispredictions. Embroid then uses these neighborhoods to create additional predictions for each sample, and combines these predictions with a simple latent variable graphical model in order to generate a final corrected prediction. In addition to providing a theoretical analysis of Embroid, we conduct a rigorous empirical evaluation across six different LMs and up to 95 different tasks. We find that (1) Embroid substantially improves performance over original prompts (e.g., by an average of 7.3 points on GPT-JT), (2) also realizes improvements for more sophisticated prompting strategies (e.g., chain-of-thought), and (3) can be specialized to domains like law through the embedding functions.

研究の動機と目的

• 低リソースNLPタスクにおける手動プロンプトチューニングの高コストを軽減するため、ラベルなしで予測を改善すること。
• ラベルなしデータと弱教師付き情報のみを用いて誤った予測を是正するプロンプトパッチ手法を開発すること。
• 理論的に説明可能で、高速かつ性能を悪化させないロバスト性を持つこと。
• チェーン・オブ・スティッズや法的分野など特殊分野を含む、多様なモデル、タスク、プロンプティング戦略において評価すること。

提案手法

• Embroidは、N種類の異なる埋め込み関数を用いて各サンプルのk近傍を特定し、意味的に類似したサンプルを同定する。
• 各埋め込み空間において、隣接サンプルの言語モデル予測のスケーリング・修正付き多数決投票を計算し、滑らかな近傍投票を生成する。
• 言語モデルの元の予測とN個の滑らかな投票を、高速なモーメント法推定器を用いて推定された潜在変数グラフィカルモデルで統合する。
• 閾値処理戦略を用い、各ソースの近傍投票平均がグローバル平均を上回るかどうかに応じて投票を±1に設定する。
• 複数の埋め込み空間にわたる信号の集約により、任意の1つの不完全な表現に依存しないように設計され、ロバスト性を確保する。
• チェーン・オブ・スティッズや少数ショットプロンプティングを含む、さまざまなプロンプティング戦略と互換性があり、ドメイン特化埋め込みへも適応可能である。

Figure 1 : The Embroid method for prompt-patching.

実験結果

リサーチクエスチョン

• RQ1 近傍の一貫性に基づく予測スムージングは、ラベルなしで少数ショット分類を改善できるか？
• RQ2 Embroidの性能は、埋め込み関数の品質とベースプロンプトの正確性にどのように依存するか？
• RQ3 Embroidは、チェーン・オブ・スティッズや高度なプロンプティング技術を含む、多様な言語モデルとプロンプティング戦略において性能を向上させるか？
• RQ4 ドメイン特化埋め込みを用いて、法的分野のような特殊分野に対してもEmbroidを有効に適用できるか？
• RQ5 AMAなどの既存の弱教師付き手法と比較して、Embroidの性能とロバスト性はどの程度か？

主な発見

• GPT-JTでは95のタスクにわたって平均7.3ポイントのF1スコア向上を達成し、小さなモデルに対しても効果が見られた。
• 1.3Bパラメータのモデルが6.7Bのインstruct fine-tunedモデルを上回る性能を示し、顕著な効率性の向上を実証した。
• GPT-3.5では、タスク平均でF1スコアが平均4.9ポイント向上し、劣化のリスクが最小限に抑えられた。
• GPT-3.5、J1-Jumbo、OPT、Bloom、GPT-JTを含む6種類の異なる言語モデルにおいて一貫した向上を達成した。
• Embroidは高度なプロンプティング戦略と相乗効果を示し、チェーン・オブ・スティッズ、AMA、選択的アノテーションプロンプトに適用しても性能向上をもたらした。
• ハイパーパrameterの選択に対してロバストであり、τ⁺ᵢ = τ⁻ᵢ = E[λᵢ]というデフォルト設定がチューニングなしでほぼ最適な性能を達成した。