[論文レビュー] INTERS: Unlocking the Power of Large Language Models in Search with Instruction Tuning

Yutao Zhu, Peitian Zhang+6 more|arXiv (Cornell University)|Jan 12, 2024

Topic Modeling被引用数 4

ひとこと要約

本論文では、情報検索（IR）タスクにおける大規模言語モデル（LLMs）の性能を向上させるために特別に設計された新しいインstructチューニングデータセットであるINTERSを紹介する。43のデータセットから、照会理解、文書理解、照会-文書関係理解の3つの分野にまたがる21の検索関連タスクを収集し、手作業で作成されたテンプレートを用いることで、LLMの性能が、LLaMA、Mistral、Phiなどのモデルにおいて、ドメイン内およびドメイン外のIRタスクで一貫して向上した。

ABSTRACT

Large language models (LLMs) have demonstrated impressive capabilities in various natural language processing tasks. Despite this, their application to information retrieval (IR) tasks is still challenging due to the infrequent occurrence of many IR-specific concepts in natural language. While prompt-based methods can provide task descriptions to LLMs, they often fall short in facilitating a comprehensive understanding and execution of IR tasks, thereby limiting LLMs' applicability. To address this gap, in this work, we explore the potential of instruction tuning to enhance LLMs' proficiency in IR tasks. We introduce a novel instruction tuning dataset, INTERS, encompassing 20 tasks across three fundamental IR categories: query understanding, document understanding, and query-document relationship understanding. The data are derived from 43 distinct datasets with manually written templates. Our empirical results reveal that INTERS significantly boosts the performance of various publicly available LLMs, such as LLaMA, Mistral, and Phi, in IR tasks. Furthermore, we conduct extensive experiments to analyze the effects of instruction design, template diversity, few-shot demonstrations, and the volume of instructions on performance. We make our dataset and the fine-tuned models publicly accessible at https://github.com/DaoD/INTERS.

研究の動機と目的

• 検索のコンセプト（関連性、ユーザーの意図など）にあまり触れられていないため、LLMsが情報検索（IR）タスクにおいて効果的に機能しないという問題に対処する。
• IRに特化したインストラクションチューニングデータセットの不足を埋めるために、検索関連タスクに特化した包括的で専門的なデータセットを構築する。
• インストラクション設計、データ量、few-shot学習の影響がLLMのIRタスクにおける性能に与える影響を、体系的な実験を通じて調査する。
• 多様でタスク特化型のテンプレートを用いたインストラクションチューニングにより、未学習のIRタスクへの一般化性能を向上させることを目的とする。

提案手法

• 著者らは、21の検索関連タスクに分類される43の既存データセットを収集し、照会理解、文書理解、照会-文書関係理解の3つのカテゴリーに分類する。
• 各タスクに対して、モデルの振る舞いを誘導し、タスク理解を向上させるために、タスクの説明と12個のユニークな入力テンプレートを手作業で設計する。
• 43のデータセットのすべての例を混合し、対応するインストラクションとテンプレートを使用してフォーマットすることで、データセットを構築する。
• LLaMA、Mistral、Phiなどの複数のオープンソースLLMに対して、INTERSデータセットを用いたファインチューニングを実施し、IRタスクに適応させる。
• テンプレート、データ量、few-shot学習の影響を評価するために、これらの要素を含む・含まない設定を比較するアブレーションスタディを実施する。
• ゼロショットおよびfew-shot推論を未学習のタスクで評価し、一般化性能を測定する。性能は標準的なIRメトリクスで測定される。

実験結果

リサーチクエスチョン

• RQ1 INTERSのようなタスク特化型データセットにおけるインストラクションチューニングは、多様なIRタスクにおいてLLMの性能をどのように向上させるか？
• RQ2 手作業で設計されたインストラクションテンプレートは、モデルの性能とタスク理解にどのような影響を与えるか？
• RQ3 トレーニングデータ量が、インストラクションファインチューニングされたLLMの一般化性能と性能に与える影響は何か？
• RQ4 few-shot例は、ドメイン外のIRタスクへの一般化能力をどの程度向上させるか？
• RQ5 LLaMA、Mistral、Phiなどの異なるベースモデルは、INTERSでのファインチューニングによって、さまざまなタスクタイプでどの程度恩恵を受けるか？

主な発見

• INTERSは、LLaMA、Mistral、Phiの各モデルにおいて、ドメイン内およびドメイン外のIRタスクにおいて、複数のオープンソースLLMの性能を顕著に向上させ、一貫した向上が確認された。
• トレーニング時にインストラクションテンプレートを使用することで、性能向上が明確に見られた。テンプレートなしのアブレーションでは結果が劣化し、タスク理解におけるテンプレートの重要性が裏付けられた。
• トレーニングデータ量を増やすことで、モデルの性能は一貫して向上したが、タスクによってデータ量への感受性にばらつきがあり、特にリランクイングタスクがより多くのデータから最も恩恵を受けていた。
• few-shot例は、すべてのタスクで性能向上をもたらしたが、特に読解（BoolQ）のような複雑な出力空間では、タスクと出力形式の明確化に寄与した。
• FLANでファインチューニングされたモデルに比べ、INTERSでファインチューニングされたモデルは、リランクイングタスクにおいて優れた性能を示し、IRタスクに特化したインストラクションチューニングの利点を示した。
• 照会再定式化タスクは、さまざまなデータ量において安定した性能を示しており、そのシンプルさからデータに依存しにくいことが示唆された。