[論文レビュー] Using Natural Language Explanations to Rescale Human Judgments

Manya Wadhwa, Jifan Chen+2 more|arXiv (Cornell University)|May 24, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、タスク固有の採点基準に基づいて、自然言語の説明と大規模言語モデル（LLMs）を用いて、粗いスケールのリッカート尺度による人間の評価を、細分化された0–100点のスコアに再スケーリングする手法を提案する。このアプローチは、人間の評価の整合性を損なわず、専門家評価との整合性を高め、主観の微細な差異やスケール使用の違いを捉えることができる。

ABSTRACT

The rise of large language models (LLMs) has brought a critical need for high-quality human-labeled data, particularly for processes like human feedback and evaluation. A common practice is to label data via consensus annotation over human judgments. However, annotators' judgments for subjective tasks can differ in many ways: they may reflect different qualitative judgments about an example, and they may be mapped to a labeling scheme in different ways. We show that these nuances can be captured by natural language explanations, and propose a method to rescale ordinal annotations and explanations using LLMs. Specifically, we feed annotators' Likert ratings and corresponding explanations into an LLM and prompt it to produce a numeric score anchored in a scoring rubric. These scores should reflect the annotators' underlying assessments of the example. The rubric can be designed or modified after annotation, and include distinctions that may not have been known when the original error taxonomy was devised. We explore our technique in the context of rating system outputs for a document-grounded question answering task, where LLMs achieve near-human performance. Our method rescales the raw judgments without impacting agreement and brings the scores closer to human judgments grounded in the same scoring rubric.

研究の動機と目的

• 主に大規模言語モデルの出力評価を目的とした、主観的NLPタスクにおける不一致や粗い人間評価の課題に対処すること。
• 従来のラベル集約やコンセンサス手法では捉えきれない、主観の微細な差異やスケール使用の違いを克服すること。
• アノテーターが提供する自然言語の説明を活用し、単なるリッカートスコアを越えた数値スコアの表現力を高めること。
• アノテーション後に適用可能な後処理手法として、LLMとカスタマイズ可能な採点基準を用いた、人間評価の細分化再スケーリングを構築すること。
• 高リスクな応用分野における大規模言語モデルの訓練および評価のための、フィードバックの質と忠実度を向上させること。

提案手法

• アノテーション段階で、リッカートスケール（例：1–5）の評価と、それに付随する自然言語の説明を収集する。
• 各アノテーターのリッカートスコアと説明を、事前に定義された、側面ベースの採点基準に anchored したプロンプトを通じて大規模言語モデル（GPT-4）に供給する。
• LLMを用いて、ラベルと説明の両方を根拠にした、アノテーターの潜在的評価を反映した0–100の数値スコアを生成する。
• アノテーション後に、説明と評価の分析に基づいて採点基準を設計し、元のラベル体系に組み込まれていなかった差異を明確にできるようにする。
• 各スコアポイントの基準を明確に定義した構造化された基準にLLMの出力を根拠とすることで、再スケーリングプロセスの一貫性と解釈可能性を確保する。
• 再スケーリングスコアが専門家評価とどの程度一致するかを評価するため、基準となる人間評価と照合して評価する。

Figure 1: Overview of our method. By feeding explanations that annotators write into an LLM, we can rescale their coarse-grained judgment to a 100-point scale.

実験結果

リサーチクエスチョン

• RQ1 自然言語の説明を根拠としたLLMによる再スケーリングは、専門家がアノテートした0–100点のスコアと近い結果を生み出すことができるか？
• RQ2 本手法は、より細分化された評価の差異を可能にしつつ、アノテーター間の同意度を維持することができるか？
• RQ3 アノテーション後に作成された採点基準は、基準なしでの再スケーリングと比較して、再スケーリングスコアの忠実度をどの程度向上させるか？
• RQ4 自然言語の説明は、粗いリッカートスケールでは失われる微細な主観的差異をどの程度捉え、伝えることができるか？
• RQ5 本手法は、ドキュメントに基づく質問応答を越えた、他の主観的NLP評価タスクにも一般化可能か？

主な発見

• 提示された説明に基づく再スケーリング（EBR）手法は、ベースラインの再スケーリング手法と比較して、専門家がアノテートした0–100点のスコアに著しく近い結果を生み出す。
• 再スケーリング後も、クリッパンドールのアルファで測定したアノテーター間同意度が安定しており、この手法が既存のコンセンサスを歪めないことが示された。
• 採点基準の活用は、基準なしでの再スケーリングと比較して、再スケーリングの正確性を著しく向上させた。これは、タスク固有の構造化された基準の価値を示している。
• アノテーターの説明には、同じリッカートラベルを選んでも異なる推論パターンが見られ、それらが再スケーリングスコアに反映されていることが明らかになった。
• 本手法は、スケール使用の違いや主観の差異を的確に分離でき、アノテーターの意図をより忠実に再現できる。
• 本手法は多様なアノテーターに対して頑健であり、解釈可能性を維持しているため、RLHFやその他のフィードバック駆動型LLMアライメントパイプラインへの応用に適している。

Figure 2: Example from Inquisitive-Broad where annotators were asked to label a question-answer pair on a Likert scale and give explanations for their judgments. Our proposed explanation-based rescaling (EBR) method maps these judgments using an aspect specific scoring rubric to scores that accurate