[論文レビュー] Don't Use LLMs to Make Relevance Judgments

Ian Soboroff|arXiv (Cornell University)|Sep 23, 2024

Artificial Intelligence in Law被引用数 4

ひとこと要約

この論文は、TREC風の情報検索評価において大規模言語モデル（LLM）を用いて関連性判断を生成することを反論している。LLMによって生成された判断は、モデル自身の性能を超えるシステムの測定を不可能にする性能の上限を生じさせ、自己言及的バイアスやモデル崩壊に起因する誤った評価を引き起こすことを示している。

ABSTRACT

Making the relevance judgments for a TREC-style test collection can be complex and expensive. A typical TREC track usually involves a team of six contractors working for 2-4 weeks. Those contractors need to be trained and monitored. Software has to be written to support recording relevance judgments correctly and efficiently. The recent advent of large language models that produce astoundingly human-like flowing text output in response to a natural language prompt has inspired IR researchers to wonder how those models might be used in the relevance judgment collection process. At the ACM SIGIR 2024 conference, a workshop ``LLM4Eval'' provided a venue for this work, and featured a data challenge activity where participants reproduced TREC deep learning track judgments, as was done by Thomas et al (arXiv:2408.08896, arXiv:2309.10621). I was asked to give a keynote at the workshop, and this paper presents that keynote in article form. The bottom-line-up-front message is, don't use LLMs to create relevance judgments for TREC-style evaluations.

研究の動機と目的

• TREC風の評価においてLLMを関連性判断を生成するために用いる傾向の拡大に反論すること。
• LLMの出力が関連性評価の真の基準（ground truth）となることによる根本的な欠陥を露呈すること。
• このようなアプローチが、LLMの性能以下にとどまるシステムに限定された評価を生じさせ、性能の上限を生じることを示すこと。
• LLMを用いて関連性判断を生成することは、自己教師学習における分布的崩壊（distributional collapse）に類似した形で、評価におけるモデル崩壊を引き起こすことを主張すること。
• 真の基準を生成することを含まない、LLMの評価における代替的利用法を提唱すること。たとえば、品質管理やユーザースタディ支援の役割。

提案手法

• LLMが出力する関連性判断を評価の真の基準とみなして、その影響を分析すること。
• LLMを用いた関連性判断生成と、自己教師学習におけるモデル崩壊の概念との類似性を指摘すること。自己の出力からのフィードバックによって性能が低下する現象に類似している。
• この手法を、複数のシステムのドキュメントを人間の評価者が評価して包括的かつ堅牢な関連性プールを構築する「プーリング」（pooling）といった、既存の評価手法と対比すること。
• LLMを真の基準を生成することなく、評価を支援する役割に用いることの可能性を提言すること。たとえば、人間の判断の誤りを検出する、またはユーザースタディの構築を支援する。
• LLMを実際に人間の関連性判断のデータでファインチューニングした場合、それらは特権的な評価者として機能し、システム性能のより公平な測定を可能にすると強調すること。
• 評価はLLMに真の基準を定義させず、人間がアノテートした関連性データに依存すべきであり、LLMは補助的役割にとどめるべきであることを強調すること。

Figure 1: Sample result from [ 12 ] , TREC-8, TREC-style pooling to depth 100.

実験結果

リサーチクエスチョン

• RQ1 LLMを用いて関連性判断を生成することは、IR評価にどのような影響を及ぼすか？
• RQ2 評価においてLLMを真の基準のソースとする場合、なぜ測定対象のシステムに性能の上限が生じるのか？
• RQ3 LLMベースの関連性判断生成は、評価プロセスにおいてどのようにモデル崩壊を引き起こすのか？
• RQ4 LLMが真の基準を生成しない限り、IR評価において依然として有用に使えるか？
• RQ5 評価の整合性を損なわせないよう、LLMが評価パイプラインを支援するにあたって果たせる代替的役割は何か？

主な発見

• LLMを用いて関連性判断を生成することは、LLM自身の出力性能を超えるシステムの評価が不可能になるため、性能の上限を生じさせる。
• LLM自体が評価対象のシステムに含まれる場合、LLMの出力よりも改善しているにもかかわらず、システムは性能が低いように見える。
• 新しいLLMは、評価の文脈において、常に古いLLMより性能が悪いように見える。これは、以前に評価されていなかった、あるいは誤って評価されたドキュメントを検索するからである。
• この評価設定は、LLM自身の出力からのフィードバックによって評価指標が劣化する、ある種のモデル崩壊を引き起こす。
• LLMが真の基準を生成しない限り、人間のアセッサーを支援する役割（誤り検出、ユーザースタディの自動化など）に用いることで、依然として評価に有用である。
• LLMを人間の関連性判断データでファインチューニングすることで、特権的な評価者として機能させることができ、自己言及的判断生成に起因する欠陥を避けることのできるより公平なシステム性能測定が可能になる。