[論文レビュー] Self-Generated In-Context Learning: Leveraging Auto-regressive Language Models as a Demonstration Generator

Hyuhng Joon Kim, Hyunsoo Cho+4 more|arXiv (Cornell University)|Jun 16, 2022

Topic Modeling被引用数 9

ひとこと要約

本稿では、自己生成型コンテキスト学習（SG-ICL）を提案する。SG-ICLは、自己回帰的言語モデルを用いて外部の学習データに依存せずに、入力に依存する高品質な例示を生成する手法である。SG-ICLはゼロショット学習を著しく上回り、1例あたり約0.6個のゴールド学習サンプルに相当する性能を示す一方で、ランダムに選択された例示よりも性能のばらつきが小さい。

ABSTRACT

Large-scale pre-trained language models (PLMs) are well-known for being capable of solving a task simply by conditioning a few input-label pairs dubbed demonstrations on a prompt without being explicitly tuned for the desired downstream task. Such a process (i.e., in-context learning), however, naturally leads to high reliance on the demonstrations which are usually selected from external datasets. In this paper, we propose self-generated in-context learning (SG-ICL), which generates demonstrations for in-context learning from PLM itself to minimize the reliance on the external demonstration. We conduct experiments on four different text classification tasks and show SG-ICL significantly outperforms zero-shot learning and is generally worth approximately 0.6 gold training samples. Moreover, our generated demonstrations show more consistent performance with low variance compared to randomly selected demonstrations from the training dataset.

研究の動機と目的

• コンテキスト学習における外部学習データへの依存度を、内部で例示を生成することで低減すること。
• 自己回帰的言語モデルが、タスクに相関の高い、関連性の高い例示を生成できるかどうかを調査すること。
• 自己生成例示とランダムに選択された実際の例示との間で、安定性と有効性を比較評価すること。
• 自己生成コンテキストサンプルの性能が、実際の学習サンプルとどの程度同等であるかを定量化すること。

提案手法

• SG-ICLは、自己生成と推論の2段階プロセスを用いる。例示は、入力とクラスラベルの両方を条件とするプロンプトテンプレートによって生成される。
• 自己生成段階では、手動で設計されたプロンプトテンプレートを用いて、事前学習済み言語モデルが各クラスの入力に依存する例示を生成する。
• 生成された例示は、その後の推論段階でコンテキスト学習に再利用され、外部学習データの必要性がなくなる。
• 本手法は、大規模言語モデルの生成能力を活用し、意味的に関連性が高く、タスク固有の例示を生成することで、下流タスクの性能を向上させる。
• 標準的なNLUベンチマークを用いて性能を評価し、入力と生成例示の間の類似度にはコサイン類似度が用いられる。
• 本手法は、感情分類（SST-2、SST-5）および自然言語推論（MNLI、RTE）の4つのテキスト分類タスクで評価される。

実験結果

リサーチクエスチョン

• RQ1 外部学習データに依存せずに、内部で例示を生成することでコンテキスト学習を実施できるか？
• RQ2 生成プロセスを入力インスタンスに条件づけることで、生成例示の質と類似度にどのような影響があるか？
• RQ3 自己生成例示の性能は、学習セットからランダムに選択された実際の例示と比べてどうか？
• RQ4 性能向上の観点から、1つの自己生成コンテキストサンプルは、何個の実際の学習サンプルに相当するか？

主な発見

• SG-ICLは、評価された4つのテキスト分類タスクすべてでゼロショット学習を著しく上回る性能を示した。
• SG-ICLは性能のばらつきが小さく、ランダムに選択された実際の例示よりも安定性に優れた。
• 入力とクラスの両方に条件づけることで、クラスのみに条件づける場合に比べて、入力とのコサイン類似度が3〜4倍向上した。
• 1つの自己生成コンテキストサンプルは、性能向上の観点で実際のゴールド学習サンプル約0.6個に相当することが経験的に示された。
• 8つの自己生成サンプルを用いたSG-ICLは、SST-2およびSST-5の両タスクで、最大5個の実際の学習サンプルを用いた少数ショット学習を上回った。
• 本手法は、推論時にいかなる学習データにもアクセスせずに、一貫した性能向上を達成した。