[論文レビュー] Noisy Channel Language Model Prompting for Few-Shot Text Classification

Sewon Min, Michael Lewis+2 more|arXiv (Cornell University)|Aug 9, 2021

Natural Language Processing Techniques被引用数 39

ひとこと要約

本論文は、少数ショットのテキスト分類のノイズチャネル promptingを提案し、チャネルモデルが安定性・最悪ケース精度・一般化の点でDirectモデルを上回ることを、複数データセットと調整方法を跨いで示している。

ABSTRACT

We introduce a noisy channel approach for language model prompting in few-shot text classification. Instead of computing the likelihood of the label given the input (referred as direct models), channel models compute the conditional probability of the input given the label, and are thereby required to explain every word in the input. We use channel models for recently proposed few-shot learning methods with no or very limited updates to the language model parameters, via either in-context demonstration or prompt tuning. Our experiments show that, for both methods, channel models significantly outperform their direct counterparts, which we attribute to their stability, i.e., lower variance and higher worst-case accuracy. We also present extensive ablations that provide recommendations for when to use channel prompt tuning instead of other competitive methods (e.g., direct head tuning): channel prompt tuning is preferred when the number of training examples is small, labels in the training data are imbalanced, or generalization to unseen labels is required.

研究の動機と目的

• 少数ショットのテキスト分類のための直接ラベル予測プロンプトに代わるノイズチャネルの代替案を動機付け、公式化する。
• チャネルベースの prompting が、ヴァーヘリファイアや seed にまたがって分散を低く、最悪ケースの精度を高くすることを示す。
• ゼロショット、少数ショット、およびさまざまなチューニング regime の下で、チャネル prompting を直接 prompting と比較する。
• データサイズ、ラベルバランス、未知ラベルに基づいて、チャネル prompting を直接ヘッドや完全微調整と使い分ける実用的ガイドラインを提供する。

提案手法

• 事前に定義されたヴァーヘリファイアを用いてラベルを自然言語表現へ対応付ける、テキスト分類の直接およびチャネル prompting の定式化を定義する。
• チャネルモデルと直接モデルのための、ゼロショット、結合ベースのデモンストレーション、アンサンブルベースのデモンストレーションの3つのデモンストレーション手法を提示する。
• ベイズの規則 P(x|c)P(c) をチャネルモデルに採用し、直接モデルには P(c|x)（または校正済み変種）を採用する；クラス事前確率 P(c) は一様と仮定する。
• 学習可能パラメータを限定したチューニング法を調査する：ヘッドチューニング、変換チューニング、プロンプトチューニングを、直接モデルとチャネルモデルの両方に対して。
• バックボーンLMとしてGPT-2 Largeを用い、複数のデータセット、ヴァーヘリファイア、データシード、K-shot設定で評価する；精度（平均と最悪ケース）を報告する。
• 学習サイズ K、ラベルの不均衡、未知ラベル一般化に関する広範なアブレーションを実施し、実用的な推奨を導く。

実験結果

リサーチクエスチョン

• RQ1 複数のデータセットにわたり、チャネルモデルは直接モデルと比較して少数ショットのテキスト分類の精度と安定性を向上させるか？
• RQ2 少数ショット設定において、デモンストレーション手法（ゼロショット、結合ベース、アンサンブルベース）は、チャネルモデルと直接モデルでどう比較されるか？
• RQ3 ヘッド、変換、プロンプトチューニングなどの限られたパラメータを用いたチューニング手法が、チャネルモデルと直接モデルに与える影響は何か？
• RQ4 どのようなデータ条件（小さな K、ラベルの不均衡、巨大なラベル空間、未知ラベル）でチャネル prompting が最も有益か？
• RQ5 チャネル prompting は未知ラベルやタスク横断で、直接 prompting より良く一般化できるか？

主な発見

データセット	ゼロショット直接平均	ゼロショット直接++ 平均	ゼロショットチャネル平均	結合直接平均	結合直接++ 平均	結合チャネル平均	アンサンブル直接平均	アンサンブル直接++ 平均	アンサンブルチャネル平均
SST-2	63.0/51.1	80.3/76.9	77.1/74.8	58.9/50.6	66.8/51.7	85.0/83.1	57.5/50.9	79.7/68.0	77.5/59.5
SST-5	27.5/24.4	33.3/28.8	29.2/27.7	27.6/23.0	23.7/14.4	36.2/32.7	25.6/23.2	33.8/23.3	33.6/30.2
MR	61.7/50.3	77.4/73.2	74.3/69.3	56.4/50.0	60.2/50.5	80.5/76.8	58.8/50.0	76.8/60.1	76.1/60.0
CR	59.2/50.0	77.9/69.7	65.8/60.2	54.7/50.0	66.8/50.0	80.8/74.8	51.0/50.0	72.8/54.6	79.7/69.3
Amazon	31.2/22.4	37.6/35.0	37.1/31.6	33.0/21.4	40.8/35.7	39.4/34.3	31.7/23.1	39.8/32.0	40.4/36.2
Yelp	33.2/25.6	36.8/31.8	38.0/31.9	32.6/23.3	38.5/31.6	39.8/36.5	31.4/23.6	39.2/29.6	41.5/38.5
TREC	38.7/26.0	27.7/12.6	30.5/19.4	27.2/9.4	31.6/13.0	42.0/26.8	32.1/13.0	22.9/9.8	31.5/23.8
AGNews	59.8/47.8	59.9/44.0	61.8/59.7	34.0/25.0	51.2/34.4	68.5/60.6	51.9/34.2	73.1/58.6	74.3/69.3
Yahoo	20.7/17.8	35.3/28.7	48.7/48.1	13.0/10.0	29.6/19.4	56.2/52.3	16.6/10.7	50.6/46.5	58.6/57.4
DBPedia	32.3/18.6	37.6/30.4	51.4/42.7	32.5/7.1	71.1/55.2	58.5/40.0	46.8/17.1	72.6/55.7	64.8/57.0
Subj	51.0/49.9	52.0/48.8	57.8/51.5	53.7/49.9	56.9/50.0	60.5/40.8	51.6/49.6	52.2/41.8	52.4/46.9

• チャネルモデルは、ほとんどのデータセットと設定の変種で直接モデルを上回り、特に最悪ケースの精度が高い。
• アンサンブルベースのデモは、直接モデルにとっては結合ベースのデモを一般に上回るが、チャネルモデルは特に少データや不均衡なラベルで強い利得を示す。
• チャネル prompting のチューニング（チャネルプロンプトチューニング）は、直接のベースラインに対して大きな利得を生み出し、平均約13.3%、最悪ケース約23.5%の改善。
• 直接ヘッドチューニングは予期せず競争力があり、いくつかのデータセットではチャネルプロンプトチューニングを上回ることもあるが、特に不均衡データや未知ラベルではチャネルプロンプトチューニングがしばしば優れている。
• チャネル prompting はラベル不均衡に対する堅牢性と未知ラベルへの一般化能力を示す一方、直接モデルはラベルが過小評価される場合や新規ラベルのときに苦戦する。