[論文レビュー] Beyond Yes and No: Improving Zero-Shot LLM Rankers via Scoring Fine-Grained Relevance Labels

Honglei Zhuang, Zhen Qin+5 more|arXiv (Cornell University)|Oct 21, 2023

Text and Document Classification Technologies被引用数 7

ひとこと要約

本稿では、ゼロショットLLMランカーの性能向上を図るために、二値の関連性プロンプト（Yes/No）を、'非常に関連性がある'、'やや関連性がある'、'関連性がない'などの細分化された関連性ラベルに置き換える手法を提案する。LLMにこれらの中間ラベルに対する尤度を割り当てさせ、それらを統合してランク付けスコアを算出することで、8つのBEIRデータセットにおいて顕著な性能向上を達成した。5段階の評価スケールを用いることで、平均NDCG@10は0.5022に向上した。

ABSTRACT

Zero-shot text rankers powered by recent LLMs achieve remarkable ranking performance by simply prompting. Existing prompts for pointwise LLM rankers mostly ask the model to choose from binary relevance labels like "Yes" and "No". However, the lack of intermediate relevance label options may cause the LLM to provide noisy or biased answers for documents that are partially relevant to the query. We propose to incorporate fine-grained relevance labels into the prompt for LLM rankers, enabling them to better differentiate among documents with different levels of relevance to the query and thus derive a more accurate ranking. We study two variants of the prompt template, coupled with different numbers of relevance levels. Our experiments on 8 BEIR data sets show that adding fine-grained relevance labels significantly improves the performance of LLM rankers.

研究の動機と目的

• ゼロショットLLMランカーにおける二値の関連性プロンプトの限界、すなわち部分的に関連性のあるドキュメントを区別できない点を是正すること。
• 中間の関連性ラベルを提供することで、モデルがドキュメントの関連性レベルをより正確に区別できるかを調査すること。
• 関連性レベルの数やラベル形式（テキスト型 vs. 評価スケール）の違いがランク付け性能に与える影響を評価すること。
• LLMの尤度を統合して最終的なランクスコアを算出するための異なるスコア算出戦略を比較すること。

提案手法

• 二値の'Yes'または'No'ではなく、'非常に関連性がある'、'やや関連性がある'、'関連性がない'といった複数の関連性ラベルを提示する。
• 各関連性ラベルに対するLLMの尤度スコアを用いて、ピーク尤度または期待関連性（周辺確率）を用いて最終的なランクスコアを算出する。
• 2種類のプロンプトバージョンを評価する：テキストによる細分化ラベル（例：RG-3L）と整数スケール（0からkまで）を用いた評価スケールプロンプト（例：RG-S(0,4)）。
• 関連性レベルごとの尤度を統合することで、微細な関連性判断を反映する連続的なランクスコアを生成する。
• 2種類のスコア算出方法を比較する：ピーク関連性尤度と周辺確率を用いた期待関連性。
• 標準的な情報検索指標（例：NDCG@10）を用いて、8つのBEIRベンチマークデータセット上で性能を評価する。

(a) Yes-No relevance generation

実験結果

リサーチクエスチョン

• RQ1 中間の関連性ラベルをLLMプロンプトに組み込むことで、二値のYes/Noプロンプトに比べてゼロショットランク付け性能が向上するか？
• RQ2 関連性レベルの数がLLMランカーの性能に与える影響は何か？
• RQ3 テキストラベル（例：'やや関連性がある'）と評価スケールプロンプト（例：0–4）のどちらがより優れたランク付け結果をもたらすか？
• RQ4 LLM尤度の統合方法として、ピーク尤度と期待関連性のどちらが優れたランクスコアを生成するか？
• RQ5 データセットの正例ラベルが二値である場合でも、細分化されたプロンプトがランク付け性能を向上させられるか？

主な発見

• 3段階のテキスト関連性ラベル（RG-3L）を用いることで平均NDCG@10は0.4992に上昇したが、5段階の評価スケール（RG-S(0,4)）では0.5022に達し、二値プロンプトに比べて一貫した向上が確認された。
• ピーク尤度戦略は期待関連性の結果と非常に近いランクスコアを生成し、計算コストが低い代替手段となった。
• 細分化ラベルを用いたモデルは、上位スコアのドキュメントをより明確に区別でき、二値プロンプトで見られる上位ドキュメントのスコアが同程度になる「プラトー効果」を回避した。
• ラベル数を増やすことで性能が単調に向上するわけではない。RG-S(0,8)とRG-S(0,10)はRG-S(0,4)に劣っており、最適なラベルの細分化粒度があることが示唆された。
• 正例ラベルが二値であるデータセットに対しても改善効果が維持されたことから、向上の主な要因はラベルの一致ではなく、モデルの推論能力の向上にあると示唆された。
• 期待関連性法はほとんどのプロンプトタイプでピーク尤度を上回ったが、テキストラベル設定では後者も競争力を持っていた。

(b) Fine-grained relevance label generation