[論文レビュー] LLMs Can Patch Up Missing Relevance Judgments in Evaluation

Shivani Upadhyay, Ehsan Kamalloo+1 more|arXiv (Cornell University)|May 8, 2024

Artificial Intelligence in Law被引用数 4

ひとこと要約

本論文は、情報検索ベンチマークにおける未評価ドキュメント（「ホール」）について、大規模言語モデル（LLMs）を用いて細分化された関連性評価を自動で予測するフレームワークを提案する。詳細な指示とFew-shot例を提示することで、LLMsは、正解評価の90％が欠落している状況でも人間による関連性評価と高い相関（Kendall τ 0.87–0.92）を達成し、単純に非関連とラベル付けする手法を著しく上回る性能を示す。

ABSTRACT

Unjudged documents or holes in information retrieval benchmarks are considered non-relevant in evaluation, yielding no gains in measuring effectiveness. However, these missing judgments may inadvertently introduce biases into the evaluation as their prevalence for a retrieval model is heavily contingent on the pooling process. Thus, filling holes becomes crucial in ensuring reliable and accurate evaluation. Collecting human judgment for all documents is cumbersome and impractical. In this paper, we aim at leveraging large language models (LLMs) to automatically label unjudged documents. Our goal is to instruct an LLM using detailed instructions to assign fine-grained relevance judgments to holes. To this end, we systematically simulate scenarios with varying degrees of holes by randomly dropping relevant documents from the relevance judgment in TREC DL tracks. Our experiments reveal a strong correlation between our LLM-based method and ground-truth relevance judgments. Based on our simulation experiments conducted on three TREC DL datasets, in the extreme scenario of retaining only 10% of judgments, our method achieves a Kendall tau correlation of 0.87 and 0.92 on an average for Vicuña-7B and GPT-3.5 Turbo respectively.

研究の動機と目的

• 未評価ドキュメントが非関連とみなされるため評価指標が歪められる、IRテストコレクションにおける不完全な関連性評価によるバイアスを是正すること。
• 人間によるラベル付けの高コストと時間消費を軽減し、LLMsを用いて未評価ドキュメントの関連性ラベルを自動予測すること。
• 二値ラベルではなく、TRECスタイルのラベルを含む細分化された関連性評価を割り当てられる、堅牢な指示ベースのLLMフレームワークの開発。
• 現実的なベンチマークの穴を模擬するために、関連性評価が欠落する度合いを変化させた状況でLLMsの有効性を評価すること。
• トレーニング時に使用していない未観測データセット（例：TREC DL 2023）を用いてテストすることで、データ漏洩のない方法を確保すること。

提案手法

• 著者らは、TREC DL 2019, 2020, 2021のデータセットから正解関連性評価の90％をランダムに削除することで、不完全なテストコレクションをシミュレートし、評価データに「ホール」を生成する。
• 詳細な指示とFew-shot例を提示することで、LLMs（Vicuña-7BおよびGPT-3.5 Turbo）に未評価クエリ・ドキュメントペアに対して細分化された関連性ラベル（例：0〜3）を割り当てるよう指示するプロンプト工学戦略を採用する。
• LLMアセッサーは、クエリ、ドキュメント本文、およびTRECガイドラインに従った関連性レベルの明確な定義を含む構造化されたプロンプトを受け取る。
• Kendall’s τ（順位一致の標準指標）を用いて、LLMが予測した評価と正解評価との相関を評価する。
• 性能とばらつきを比較するため、ゼロショットおよびFew-shotプロンプティング設定の両方でテストを実施する。
• データ汚染のテストとして、トレーニングやファインチューニングに使用していないTREC DL 2023のqrelsにLLMを適用し、データ漏洩がないことを確認する。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、IRテストコレクションにおける未評価ドキュメントについて、細分化された関連性評価を正確に予測できるか？
• RQ2 関連性評価が欠落する割合が増加するにつれて、LLMベースの評価予測の性能はどのように変化するか？
• RQ3 人間の評価と高い相関を示し、安定性に優れるかという観点から、Few-shotプロンプティングはゼロショットプロンプティングを上回るか？
• RQ4 データ漏洩が発生しないように、LLMsは未観測データセットに一般化可能か、信頼できる評価が可能か？
• RQ5 LLMで補正された評価は、未評価ドキュメントを非関連とみなすベースライン手法と比べてどのように異なるか？

主な発見

• 正解評価の10％のみを保持した状況で、Vicuña-7BはTREC DL 2019でKendall τ 0.862、GPT-3.5 Turboは0.927の正解評価との相関を達成した。
• LLMベースの手法は、すべてのホールを非関連とラベル付けするベースライン（τ = 0.624）を著しく上回り、平均で25–30％高い相関を達成した。
• Few-shotプロンプティングは、ゼロショットプロンプティングに比べ、より高い相関と低い分散を示し、性能がより安定している。
• 未観測データでも強力な性能を維持しており、TREC DL 2023のBM25結果をLLMで補正されたqrelsを用いて評価したところ、GPT-3.5 TurboではnDCG@10が0.2721を達成し、正解の0.2627に近く、良好な結果を得た。
• 極めて高いホール状態（90％欠落）下でも、すべての3つのTREC DLトラックでKendall τが0.87以上を維持し、強い一般化性能を示した。
• データ汚染テストの結果、LLMがテストデータを単に記憶しているわけではないことが確認され、TREC DL 2023でも高い性能が維持された。