[論文レビュー] Q-PEFT: Query-dependent Parameter Efficient Fine-tuning for Text Reranking with Large Language Models

Zhiyuan Peng, Xuyang Wu+3 more|arXiv (Cornell University)|Apr 6, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、大規模言語モデルを用いたテキスト再ランク付けのためのクエリ依存型パラメータ効率的微調整手法 Q-PEFT を提案する。クエリを用いて文書から上位k個のトークンを文脈的手がかりとして抽出し、リtrievalをマルチヘッドアテンション層に置き換えることで、エンドツーエンド学習を可能にするとともに、より文書特有の合成クエリを生成し、最小限のパラメータ更新で4つの公開データセットにおいて再ランク付け性能を顕著に向上させる。

ABSTRACT

Parameter Efficient Fine-Tuning (PEFT) methods have been extensively utilized in Large Language Models (LLMs) to improve the down-streaming tasks without the cost of fine-tuing the whole LLMs. Recent studies have shown how to effectively use PEFT for fine-tuning LLMs in ranking tasks with convincing performance; there are some limitations, including the learned prompt being fixed for different documents, overfitting to specific tasks, and low adaptation ability. In this paper, we introduce a query-dependent parameter efficient fine-tuning (Q-PEFT) approach for text reranking to leak the information of the true queries to LLMs and then make the generation of true queries from input documents much easier. Specifically, we utilize the query to extract the top-$k$ tokens from concatenated documents, serving as contextual clues. We further augment Q-PEFT by substituting the retrieval mechanism with a multi-head attention layer to achieve end-to-end training and cover all the tokens in the documents, guiding the LLMs to generate more document-specific synthetic queries, thereby further improving the reranking performance. Extensive experiments are conducted on four public datasets, demonstrating the effectiveness of our proposed approach.

研究の動機と目的

• 既存のパラメータ効率的微調整（PEFT）手法における固定プロンプトの制限と一般化性能の低さを是正すること。
• プロンプト学習を入力クエリに依存させることで、LLMを用いた再ランク付けの関連性理解を向上させること。
• 文書からクエリに適した文脈的手がかりを動的に生成することで、過学習を低減し、適応能力を向上させること。
• リtrievalをマルチヘッドアテンション機構に置き換えることで、より良い意味的統合を実現し、エンドツーエンド学習を可能にすること。
• 大規模モデルの完全微調整を回避し、最小限のパラメータ更新で最先端の再ランク付け性能を達成すること。

提案手法

• クエリを鍵として用い、クエリ-ドキュメントペアを連結したものの上位k個のトークンを抽出するクエリ依存モジュールを設計。
• 従来のハードリtrieバルに代わる、クエリに依存するアテンションに基づくリtrieバルメカニズムを採用。
• リtrieバルステップを置き換えるためにマルチヘッドアテンション層を統合し、エンドツーエンド学習とトークンの完全カバーを実現。
• 元のLLMパラメータを固定し、小さな学習可能なアダプターモジュールのみを微調整することで、パラメータ効率性を確保。
• アテンション誘導型の文脈的手がかりに基づいて合成クエリを生成し、クエリとドキュメント間の関連性スコアリングを向上。
• 4つの公開データセットを用いて、Recall@10 を指標に、異なるリtrieverと学習サイズにおける性能を比較評価。

実験結果

リサーチクエスチョン

• RQ1 クエリ依存型プロンプト学習は、テキスト再ランク付けにおけるPEFT手法の一般化性能と適応性を向上させ得るか？
• RQ2 ハードリtrieバルをマルチヘッドアテンション層に置き換えることで、エンドツーエンド学習と再ランク付け性能にどのような影響を与えるか？
• RQ3 クエリに適したトークン抽出は、LLMにおける文書特有の関連性モデリングをどの程度向上させるか？
• RQ4 学習サイズが、異なるデータセットにおける提案手法 Q-PEFT の安定性と性能に与える影響はいかほどか？
• RQ5 Q-PEFT はゼロショットおよびフェイシュット再ランク付けのシナリオにおいて、既存のPEFTおよび非PEFTベースラインを上回る性能を示せるか？

主な発見

• マルチヘッドアテンション層を用いる Q-PEFT-A は、NQ および WebQ データセットの両方で Q-PEFT-R よりもより安定的かつ高いピーク性能を達成。
• NQ データセットでは Q-PEFT-R の性能が学習サイズに応じて著しく変動し、ピークに達した後低下してから再び上昇するなど、不安定な傾向を示す。
• WebQ データセットでは Q-PEFT-A が学習サイズの増加に伴い一貫した改善を示し、Q-PEFT-R よりも高いピーク性能に到達。
• 4つのデータセットすべてにおいて UPR ベースラインを顕著に上回り、異なるリtrieverにおける Recall@10 において一貫した向上を示した。
• プロンプト p4 が、データセット全体で最も一貫性があり最適な性能を示し、モデルの出力ばらつきを低減した。