[論文レビュー] One-Shot Labeling for Automatic Relevance Estimation

Sean MacAvaney, Luca Soldaini|arXiv (Cornell University)|Feb 22, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、情報検索評価における未評価ドキュメントのための関連性を予測するために、大規模言語モデルを用いたワンショットラベリング（1 SL）を提案する。1クエリあたり1件の既知の関連ドキュメントのみを用いる。F1スコアは低め（最高0.63）であるが、1 SLは完全な人間評価と比較してシステム順位付けにおいて高い相関（>0.86）を達成し、統計的仮説検定の信頼性を向上させ、深層的手動プーリングを必要としないコスト効率的でスケーラブルな評価を可能にする。

ABSTRACT

Dealing with unjudged documents ("holes") in relevance assessments is a perennial problem when evaluating search systems with offline experiments. Holes can reduce the apparent effectiveness of retrieval systems during evaluation and introduce biases in models trained with incomplete data. In this work, we explore whether large language models can help us fill such holes to improve offline evaluations. We examine an extreme, albeit common, evaluation setting wherein only a single known relevant document per query is available for evaluation. We then explore various approaches for predicting the relevance of unjudged documents with respect to a query and the known relevant document, including nearest neighbor, supervised, and prompting techniques. We find that although the predictions of these One-Shot Labelers (1SL) frequently disagree with human assessments, the labels they produce yield a far more reliable ranking of systems than the single labels do alone. Specifically, the strongest approaches can consistently reach system ranking correlations of over 0.86 with the full rankings over a variety of measures. Meanwhile, the approach substantially increases the reliability of t-tests due to filling holes in relevance assessments, giving researchers more confidence in results they find to be significant. Alongside this work, we release an easy-to-use software package to enable the use of 1SL for evaluation of other ad-hoc collections or systems.

研究の動機と目的

• 未評価ドキュメント（「ホール」）が関連性評価に与えるバイアスと統計的パワーの低下という問題に対処すること。
• 1クエリあたり1件の関連ドキュメントしか入手できない状況で、大規模言語モデルが未評価ドキュメントの関連性を信頼性高く推定できるかを検討すること。
• 自動ラベリングが完全な人間評価と高い相関を示すシステム順位付けを生成できるか、特に精度志向の指標において評価すること。
• 欠落した関連性評価を低減することで、IR評価における統計的仮説検定（例：t検定）の信頼性を向上させること。
• 深層的手動プーリングを自動ラベリングに置き換えることで、評価のスケーラビリティとコスト効率を高めつつ、評価の正確性を維持すること。

提案手法

• 本手法は、1クエリあたり1件の既知の関連ドキュメントを参照として、さまざまなLLMベースのアプローチを用いて未評価ドキュメントの関連性を推定する。
• 3つの主な1 SL手法を評価：密度ベクトル類似度を用いたk近傍検索、教師あり相対的関連性スコアラー（DuoT5）、ゼロショットプロンプティング手法（FlanT5/DuoPrompt）。
• 関連性予測結果を用いて、再帰的評価指標（Recallに依存しないC/W/L指標）であるSDCG@10、P@10、RBP(p=0.8)を用いてシステム性能を推定する。
• 1 SL予測に基づくシステム順位付けを、完全な人間評価と比較するためにケンダールのtauとスピアーマーの順位相関を用いる。
• 1 SL予測された評価に基づくt検定を用いて、システム比較の統計的有意性を評価し、完全なqrelsとの結果を比較して性能を評価する。
• 本手法は、他のアドホック検索コレクションでも再利用可能なオープンソースパッケージ（autoqrels）として実装されている。

実験結果

リサーチクエスチョン

• RQ1 1件の関連ドキュメントのみを用いたワンショットラベリングが、完全な人間関連性評価との間で高い相関を持つシステム順位付けを生成できるか？
• RQ2 近傍検索、教師ありモデル、プロンプティングといった異なるLLMベースの1 SL手法（例：k近傍、教師あり、プロンプティング）は、関連性予測とシステム順位付けの順序維持においてどのように比較されるか？
• RQ3 1 SL予測された評価は、不完全な評価と比較して、統計的有意性検定（例：t検定）の信頼性をどの程度向上させるか？
• RQ4 1 SLは、完全な評価が困難な状況下でも、共有タスクにおける深層的手動関連性評価を置き換えることができるか？
• RQ5 1 SLのリコール推定、複数ドキュメントの関連性、モデルバイアスという点で、どのような限界があるか？

主な発見

• 最も強力な1 SL手法、DuoPromptは、TREC DL 2019–2021の全期間で完全な人間評価と0.97～0.98の高い相関を達成し、全指標で一貫して0.86以上の相関を示した。
• DuoPromptは、他の手法と比較してより信頼性の高いt検定を提供し、完全なqrelsと比較して顕著に少ない偽陽性および偽陰性結果を示した。
• 教師ありモデルDuoT5も高い相関（0.87～0.92）を達成したが、DuoPromptと比較して偽陽性t検定の数が多くなった。
• MaxRepベースの手法は性能が低く、相関値は0.5未満で偽陽性率が高く、特にMaxRep-BM25が顕著であった。
• 1つのラベル付きドキュメント（予測なし）のみを用いる場合、順位付けは著しく不正確となり、偽陽性t検定の発生率も高くなる。これは、その1件の正例ドキュメントを提供したシステムに有利に働く。
• 最小限の人的ラベリングで信頼性の高い評価が可能であるため、1 SLは深層的手動プーリングの必要性を低減しつつ、評価の正確性を維持できる可能性を示している。