[論文レビュー] LLM Comparative Assessment: Zero-shot NLG Evaluation through Pairwise Comparisons using Large Language Models

Adian Liusie, Potsawee Manakul+1 more|arXiv (Cornell University)|Jul 15, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、大規模言語モデル（LLM）を用いた自動自然言語生成（NLG）評価のため、ゼロショットで、かつペairワイズ比較による評価手法を提案する。2つのNLG出力を一度に比較するようにLLMにプロンプトする一方で、絶対スコアを割り当てるのではなく、より優れた出力を選択させるアプローチにより、特にFlanT5 や Llama2 といった中規模のオープンソースモデルにおいて優れた性能を達成する。また、位置バイアスの強い影響を特定し、それを緩和するデバイアス化技術を用いることで、性能の向上を実現している。

ABSTRACT

Current developments in large language models (LLMs) have enabled impressive zero-shot capabilities across various natural language tasks. An interesting application of these systems is in the automated assessment of natural language generation (NLG), a highly challenging area with great practical benefit. In this paper, we explore two options for exploiting the emergent abilities of LLMs for zero-shot NLG assessment: absolute score prediction, and comparative assessment which uses relative comparisons between pairs of candidates. Though comparative assessment has not been extensively studied in NLG assessment, we note that humans often find it more intuitive to compare two options rather than scoring each one independently. This work examines comparative assessment from multiple perspectives: performance compared to absolute grading; positional biases in the prompt; and efficient ranking in terms of the number of comparisons. We illustrate that LLM comparative assessment is a simple, general and effective approach for NLG assessment. For moderate-sized open-source LLMs, such as FlanT5 and Llama2-chat, comparative assessment is superior to prompt scoring, and in many cases can achieve performance competitive with state-of-the-art methods. Additionally, we demonstrate that LLMs often exhibit strong positional biases when making pairwise comparisons, and we propose debiasing methods that can further improve performance.

研究の動機と目的

• 中規模のLLMを用いたゼロショットNLG評価において、NLG出力同士のペアワイズ比較が絶対スコア予測よりも効果的であるかどうかを調査すること。
• 中規模のオープンソースLLMを用いて、多様なNLGタスクおよび属性（例：一貫性、流暢さ、関連性）に対して、比較的評価の性能を評価すること。
• LLMベースのペアワイズ比較に見られる位置バイアスを特定し、それを是正することで、順位付け結果の歪みを是正すること。
• 最小限の比較回数でスケーラブルかつ正確な順位付けを実現するためのサブセット比較選択戦略の効率を評価すること。
• 人間によるアノテート済みのリファレンスがなくても、比較的評価が最先端またはそのに近い性能を達成できることを示すこと。

提案手法

• LLMに2つのNLG出力を比較させ、特定の属性（例：一貫性、流暢さ）に基づいてより良い方を選択させるゼロショットプロンプティング戦略を採用する。
• ペアワイズ比較の結果を推移的推論またはソーティングアルゴリズムを用いて順位付けに変換し、複数の候補に対して全システムの比較を可能にする。
• 候補ペアの順序を逆転させ、予測を平均化することで位置バイアスを低減するデバイアス化手法を実装する。
• 比較選択戦略（ランダム、重複回避、対称的（双方向比較））を評価し、計算コストを最小限に抑えつつ順位付けの正確性を維持する。
• ゴールスタンダードの人間スコアとの比較において、スピアマン順位相関係数とペアワイズ正解率を指標として用い、順位付けの品質を評価する。
• SummEval を含む複数のNLGベンチマークを用い、一貫性、流暢さ、関連性など多様な属性に対してフレームワークを適用する。

Figure 1: Prompt Scoring v.s. Comparative Assessment. Comparative Assessment prompts an LLM to compare candidates in a pairwise manner, and the comparisons are subsequently converted into scores or ranks.

実験結果

リサーチクエスチョン

• RQ1 中規模のLLMを用いたゼロショットNLG評価において、ペアワイズ比較評価は絶対スコア予測を上回るのか？
• RQ2 LLMの比較における位置バイアスが順位付け性能に与える影響はどの程度で、効果的に是正可能か？
• RQ3 比較のサブセットのみを用いる場合、順位付けプロセスの効率はどの程度で、どの選択戦略がコストと正確性の最良のトレードオフを実現するか？
• RQ4 比較的評価は、多様なNLG属性およびタスクにおいて、最先端の自動評価手法と同等またはそれに近い性能を達成できるか？
• RQ5 異なる候補のサブセットに対して、LLMベースのペアワイズ比較はどの程度一貫性を示し、より多くの比較を経ることで自己一貫性が向上するか？

主な発見

• FlanT5-xl や Llama2-chat といった中規模LLMでは、比較的評価がプロンプトスコアリングを顕著に上回り、複数のNLG属性で最先端またはそのに近い性能を達成した。
• タスク全体を通じて、ペアワイズ比較の正解率は60％から80％の範囲にあり、デバイアス化により特にバイアスの強い状況で正解率が顕著に向上した。
• 自己一貫性分析の結果、16個の要約のうち8個の比較で得られた順位付けが、完全な順位付けと比較して95.5％の正確性を示し、少数の比較でも高い安定性を示した。
• 対称的比較選択方式は、重複回避方式とほぼ同等の性能を達成したが、比較回数を半分に減らすことができ、より効率的であった。
• デバイアス化手法により顕著な性能向上が得られ、とくに比較回数が少ない場合に顕著で、位置バイアスの影響が大きいことが示された。
• 比較回数が限られている場合（例：R < 100）でも、スピアマン順位相関係数が高く維持された（例：SummEvalのCOHでは>0.93）、スケーラビリティとロバストネスを示した。

Figure 2: Comparative prompt template 1 and 2. When assessing different attributes, only the attribute is changed (e.g., consistent $\rightarrow$ engaging) and for response assessment, the word ‘summary’ is replaced with ‘response’.