[論文レビュー] Parameter-Efficient Prompt Tuning Makes Generalized and Calibrated Neural Text Retrievers

Weng Lam Tam, Xiao Liu+7 more|arXiv (Cornell University)|Jul 14, 2022

Topic Modeling被引用数 6

ひとこと要約

本稿では、ニューラルテキストリtriever向けにパラメータ効率の良いプロンプトチューニング（具体的にはP-Tuning v2）を提案し、モデルパラメータの0.1%しか使用しないにもかかわらず、フルファインチューニングと同等の性能を達成した。ドメイン外およびクロストピック一般化において顕著な向上を示し、これはより良い信頼度キャリブレーションとクエリ長に強い耐性に起因するとされた。また、87のトピックにわたる18,000件のクエリ-ペーパー対を含む、最大規模のトピック特化型学術リtrieバルデータセットOAG-QAを新たに構築した。

ABSTRACT

Prompt tuning attempts to update few task-specific parameters in pre-trained models. It has achieved comparable performance to fine-tuning of the full parameter set on both language understanding and generation tasks. In this work, we study the problem of prompt tuning for neural text retrievers. We introduce parameter-efficient prompt tuning for text retrieval across in-domain, cross-domain, and cross-topic settings. Through an extensive analysis, we show that the strategy can mitigate the two issues -- parameter-inefficiency and weak generalizability -- faced by fine-tuning based retrieval methods. Notably, it can significantly improve the out-of-domain zero-shot generalization of the retrieval models. By updating only 0.1% of the model parameters, the prompt tuning strategy can help retrieval models achieve better generalization performance than traditional methods in which all parameters are updated. Finally, to facilitate research on retrievers' cross-topic generalizability, we curate and release an academic retrieval dataset with 18K query-results pairs in 87 topics, making it the largest topic-specific one to date.

研究の動機と目的

• ニューラルテキストリtrieバルにおけるフルファインチューニングのパラメータ非効率性と一般化性能の低さを解決すること。
• パラメータ効率の良いプロンプトチューニングが、インドメイン、クロスドメイン、クロストピック設定において一般化性能を向上させられるかどうかを調査すること。
• プロンプトチューニングの向上した一般化性能の背後にあるメカニズム、特に信頼度キャリブレーションとクエリ長に強い耐性を理解すること。
• 今後の研究の支援を目的として、大規模かつ細分化された学術リtrieバルデータセット（OAG-QA）を構築・公開すること。

提案手法

• 事前学習済みリtrieバーモデルの全パラメータを固定し、学習可能なプロンプト埋め込みの小さなサブセットのみをファインチューニングする、パラメータ効率の良いプロンプトチューニング手法P-Tuning v2を適用する。
• 事前学習モデルの入力の直前に挿入される微分可能プロンプト埋め込み層を用い、勾配更新はこれらのプロンプトトークンに限定する。
• インドメインおよびドメイン外データセット上で、コントラスト学習目的関数（例：InfoNCE）を用いてリtrieバーモデルを訓練し、フルファインチューニングに代えてプロンプトチューニングを適用する。
• 標準的なリtrieバルメトリクス（例：MRR、Recall@k）を用いてモデル性能を評価し、インドメインおよびクロスドメインベンチマークで期待キャリブレーション誤差（ECE）を用いてキャリブレーションを評価する。
• クエリ長の変動に対する耐性を評価するため、異なるクエリ長のボックス（例：短い、中程度、長い）における性能を分析することでアブレーションスタディを実施する。
• 87のトピックと22の専門分野をカバーする17,948件のクエリ-ペーパー対を含む、新たな学術リtrieバルデータセットOAG-QAをキュレート・公開し、クロストピック評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 パラメータ効率の良いプロンプトチューニングは、ニューラルテキストリtrieバルにおいてフルファインチューニングと同等のインドメイン性能を達成できるか？
• RQ2 フルファインチューニングと比較して、プロンプトチューニングはドメイン外およびクロストピックリtrieバルベンチマークにおけるゼロショット一般化性能を向上させるか？
• RQ3 リtrieバルタスクにおけるプロンプトチューニングの向上した一般化性能の背後にあるメカニズムは何か？
• RQ4 プロンプトチューニングは、モデルのキャリブレーションおよびクエリ長の変動に対する耐性にどのように影響を与えるか？
• RQ5 極めて高いパラメータ効率を示すプロンプトチューニングは、リtrieバルタスクにおける少数の例学習（few-shot）およびメタラーニングのシナリオをどの程度サポートできるか？

主な発見

• P-Tuning v2は、モデルパラメータの0.1%しか更新しないにもかかわらず、フルファインチューニングと同等のインドメイン性能を達成した。
• BEIRベンチマークにおいて、P-Tuning v2はドメイン外設定で、ファインチューニングモデル比で相対MRR向上率が3.5%から105.0%にのぼった。
• インドメインおよびクロスドメインデータセットの両方で、期待キャリブレーション誤差（ECE）を用いて測定したところ、P-Tuning v2モデルはファインチューニングモデルよりも顕著に優れた信頼度キャリブレーションを示した。
• P-Tuning v2は、クエリ長の変動に対して優れた耐性を示し、短いクエリ（Quora）および長いクエリ（ArguAna）の両方で、ファインチューニングモデルを上回った。
• 87のトピックと22の専門分野をカバーする17,948件のクエリ-ペーパー対を含むOAG-QAデータセットは、これまでに公開された中で最大規模の細分化されたトピック特化型学術リtrieバルデータセットである。
• 実証的分析により、改善されたキャリブレーションとクエリ長に強い耐性が、プロンプトチューニングの一般化優位性の主な要因であることが確認された。