[論文レビュー] Z-ICL: Zero-Shot In-Context Learning with Pseudo-Demonstrations

Xinxi Lyu, Sewon Min+3 more|arXiv (Cornell University)|Dec 19, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

Z-icl は、最近傍検索と同義語ラベリングを用いて、ラベルなしの生テキストコーパスから擬似例示を構築するゼロショット・イン・コンテキスト学習手法を提案する。この手法により、プロンプト工学やラベル付きデータを一切用いずに、9つのテキスト分類データセットで、少数ショットのイン・コンテキスト学習と同等の性能を達成し、従来のゼロショットベースラインを顕著に上回る。

ABSTRACT

Although large language models can be prompted for both zero- and few-shot learning, performance drops significantly when no demonstrations are available. In this paper, we introduce Z-ICL, a new zero-shot method that closes the gap by constructing pseudo-demonstrations for a given test input using a raw text corpus. Concretely, pseudo-demonstrations are constructed by (1) finding the nearest neighbors to the test input from the corpus and pairing them with random task labels, and (2) applying a set of techniques to reduce the amount of direct copying the model does from the resulting demonstrations. Evaluation on nine classification datasets shows that Z-ICL outperforms previous zero-shot methods by a significant margin, and is on par with in-context learning with labeled training data in the few-shot setting. Overall, Z-ICL provides a significantly higher estimate of the zero-shot performance levels of a model, and supports future efforts to develop better pseudo-demonstrations that further improve zero-shot results.

研究の動機と目的

• ラベルなしデータを用いて意味のある擬似例示を構築することで、大規模言語モデルのゼロショット能力が過小評価されている問題に対処すること。
• 少数ショットの例示が通常提供する入力分布とラベル空間を模倣することで、ゼロショット性能を向上させること。
• モデルが顕著に類似した例示入力に直接コピーする傾向を、新たな構築技術によって軽減すること。
• より洗練された設計の擬似例示により、ゼロショット性能を顕著に向上させられることを示すこと。
• 事前学習モデルのイン・コンテキスト学習の潜在的性能を最大限に引き出すために、高品質な擬似例示を構築する新しい研究分野を開くこと。

提案手法

• 意味的類似度を用いて、生テキストコーパスから k 個の最近傍を検索し、それらを擬似例示の基盤とする。
• 各検索された文を、タスクラベルのランダムに選ばれた同義語（例：'great' と 'good'）とペアにする。これにより、直接的なラベルコピーを低減する。
• 最近傍そのものではなく、最近傍の物理的近傍（コーパス内での隣接文）を用いることで、入力分布の多様性を高める。
• 同義語ラベリングを適用することで、テスト入力と例示ラベル間の語彙的類似性を解消し、記憶効果を最小限に抑える。
• イン・コンテキスト学習の形式に従い、入力-ラベルペアのシーケンスを条件として言語モデルに与え、一貫した例示構造を維持する。
• ラベル付き学習データを一切不要とする、検索ベースのアプローチを採用し、ラベルなしテキストコーパスに依存する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしコーパスから擬似例示を構築することで、大規模言語モデルのゼロショット性能を顕著に向上させられるか？
• RQ2 入力分布とラベル空間を模倣する擬似例示は、ゼロショット性能をどの程度向上させるか？
• RQ3 意味的に類似した例示入力に過剰に依存する「コピー効果」は、ゼロショットイン・コンテキスト学習でどのように緩和できるか？
• RQ4 コーパスカバレッジをわずかに拡大することで、ゼロショット一般化性能に測定可能な向上が見られるか？
• RQ5 擬似例示による性能向上は、入力-ラベルペアのフォーマットそのものに起因するのか、それとも単に関連する文脈が存在するからなのか？

主な発見

• Z-icl は、9つのテキスト分類データセットにおいて、従来のゼロショットベースラインを顕著に上回り、ゼロショット能力の顕著な向上を示している。
• Z-icl は、実際の k フレーズのラベル付き例示を用いたイン・コンテキスト学習と同等の性能を達成しており、モデルのゼロショット潜在能力がこれまで過小評価されていたことが示された。
• アブレーションスタディの結果、ペア化された入力-ラベルフォーマットに加え、物理的近傍選択と同義語ラベリングの2つの技術が、最高性能を達成するために不可欠であることが確認された。
• コーパスサイズが小さくなるにつれて性能が低下し、コーパスサイズを元の 0.03% にまで縮小すると明確な精度低下が観察された。これは、コーパスカバレッジとサイズに対する感受性を示している。
• IMDBレビューの2%を追加したように、追加ドメインをコーパスに加えることで、以前カバーされていなかったデータセットの性能が一貫して向上した。これは、カバレッジが重要な要因であることを示している。
• 「入力のみ」バージョン（ラベルなしで検索された文に条件付けたもの）は、Z-icl よりも顕著に性能が劣っており、入力-ラベルペアフォーマットが性能に不可欠であることが証明された。