[論文レビュー] Learning How to Ask: Querying LMs with Mixtures of Soft Prompts

Guanghui Qin, Jason Eisner|arXiv (Cornell University)|Apr 14, 2021

Topic Modeling参考文献 37被引用数 10

ひとこと要約

本論文では、微分可能勾配降下法を用いて混合されたプロンプトを最適化することで、事前学習された言語モデルを問い合わせるためのソフトプロンプト（離散語の代わりに連続ベクトル列）を提案する。この手法は、事前知識なしで初期化された場合でさえも、事実知識の探査タスクにおいて従来手法を大きく上回り、言語モデルがこれまで認識されていなかったほど多くのアクセス可能な知識を内蔵していることを示している。

ABSTRACT

Natural-language prompts have recently been used to coax pretrained language models into performing other AI tasks, using a fill-in-the-blank paradigm (Petroni et al., 2019) or a few-shot extrapolation paradigm (Brown et al., 2020). For example, language models retain factual knowledge from their training corpora that can be extracted by asking them to "fill in the blank" in a sentential prompt. However, where does this prompt come from? We explore the idea of learning prompts by gradient descent -- either fine-tuning prompts taken from previous work, or starting from random initialization. Our prompts consist of "soft words," i.e., continuous vectors that are not necessarily word type embeddings from the language model. Furthermore, for each task, we optimize a mixture of prompts, learning which prompts are most effective and how to ensemble them. Across multiple English LMs and tasks, our approach hugely outperforms previous methods, showing that the implicit factual knowledge in language models was previously underestimated. Moreover, this knowledge is cheap to elicit: random initialization is nearly as good as informed initialization.

研究の動機と目的

• 手作業で設計されたまたは抽出されたプロンプトを超えて、事前学習された言語モデルのファクト抽出のパフォーマンスを向上させること。
• 連続的で最適化可能な「ソフトプロンプト」が、従来の離散語プロンプトを上回る知識抽出性能を示すかどうかを調査すること。
• ソフトプロンプトをランダムに初期化しても、事前に得られたプロンプトに基づく初期化と同等またはそれ以上の性能を達成できるかどうかを検証すること。
• 各タスクや入力に応じて重みが適応的に変化する混合ソフトプロンプトの有効性を評価すること。
• 入力層だけでなく、すべてのトランスフォーマー層の埋め込みを微調整する（ディーププロンプティング）ことで、層0のみの微調整に比べてパフォーマンスが向上するかどうかを検証すること。

提案手法

• 離散トークンの代わりに連続ベクトル列（「ソフトワード」として表現）としてプロンプトを定義し、連続空間における勾配ベース最適化を可能にする。
• 勾配降下法を用いて、各プロンプトが学習可能な連続埋め込みの系列である混合ソフトプロンプトを最適化する。
• 入力ごとに学習可能な混合重みを有する微分可能な混合メカニズムを用いて複数のソフトプロンプトを組み合わせる。
• クローズド形式の事実探査タスクにおける標準的な言語モデリング目的関数を用いて、エンドツーエンドでソフトプロンプトを学習する。
• 入力層だけでなく、すべてのトランスフォーマー層の埋め込みを微調整する（ディーププロンプティング）ようにこの手法を拡張する。
• データ依存の混合重みを可能にする温度ゲーティングを適用し、入力に応じて効果的なプロンプトを動的に選択可能にする。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法で最適化されたソフトプロンプトは、手作業で設計されたまたは抽出された離散プロンプトを著しく上回る性能を示せるか？
• RQ2 ソフトプロンプトをランダムに初期化しても、過去の研究から得られたプロンプトに基づく初期化と同等またはそれ以上の性能を達成できるか？ これは最適化プロセスのロバスト性を示唆する。
• RQ3 学習可能な重みを持つソフトプロンプトの混合は、単一のプロンプトよりも多様な事実関係にわたる汎化性能とパフォーマンスを向上させられるか？
• RQ4 すべてのトランスフォーマー層を微調整する（ディーププロンプティング）ことで、層0のみの微調整に比べてさらなる性能向上が得られるか？
• RQ5 データ依存の混合重みは性能にどのような影響を及ぼすか？ また、モデルは不要なプロンプト成分を抑制する学習を遂げられるか？

主な発見

• 提案手法のソフトプロンプトは、T-RExおよびGoogle-REデータセットにおいて最先端のパフォーマンスを達成し、BERT-largeを用いたGoogle-REではP@1スコア14.5を記録した。
• ランダム初期化であっても、LAMA や LPAQA といったすべての先行手法を大きく上回り、例えばBERT-largeを用いたGoogle-REではベースラインLAMAに比べて+14.5 P@1の差を示した。
• ソフトプロンプトのベクトル自体を微調整することで、最も大きなパフォーマンス向上が得られ、抽出初期化を用いた場合のT-RExではP@1が12.9に達した。
• 混合ソフトプロンプトは単一プロンプトを常に上回り、特に抽出されたプロンプトから初期化され、すべての層で微調整された混合プロンプトが最良の性能を示した。
• ディーププロンプティング（全層微調整）はわずかだが一貫した向上をもたらしたが、RoBERTaでは性能が低下したため、モデル固有の感受性があることが示唆された。
• 温度ゲーティングによるデータ依存混合重みは、モデルが高温を設定して入力固有の重みを無視するよう学習したため、性能にほとんど影響を与えなかった。