[論文レビュー] Which is better? Exploring Prompting Strategy For LLM-based Metrics

Joonghoon Kim, So-Yun Park+5 more|arXiv (Cornell University)|Nov 7, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿は、自然言語生成（NLG）の評価指標としてのオープンソースLLMにおけるプロンプト戦略を調査し、人間が作成したとモデルが生成した指示テンプレート、スコアの細分化、例示を用いたコンテキスト内学習、集約手法を比較している。モデルがガイドするプロンプトに構造的な基準と0–100スケールを適用することで、従来の1–5スケールよりも人間の評価との相関が高くなることが判明した。また、根拠の生成により説明可能性が向上することが示された。

ABSTRACT

This paper describes the DSBA submissions to the Prompting Large Language Models as Explainable Metrics shared task, where systems were submitted to two tracks: small and large summarization tracks. With advanced Large Language Models (LLMs) such as GPT-4, evaluating the quality of Natural Language Generation (NLG) has become increasingly paramount. Traditional similarity-based metrics such as BLEU and ROUGE have shown to misalign with human evaluation and are ill-suited for open-ended generation tasks. To address this issue, we explore the potential capability of LLM-based metrics, especially leveraging open-source LLMs. In this study, wide range of prompts and prompting techniques are systematically analyzed with three approaches: prompting strategy, score aggregation, and explainability. Our research focuses on formulating effective prompt templates, determining the granularity of NLG quality scores and assessing the impact of in-context examples on LLM-based evaluation. Furthermore, three aggregation strategies are compared to identify the most reliable method for aggregating NLG quality scores. To examine explainability, we devise a strategy that generates rationales for the scores and analyzes the characteristics of the explanation produced by the open-source LLMs. Extensive experiments provide insights regarding evaluation capabilities of open-source LLMs and suggest effective prompting strategies.

研究の動機と目的

• オープンエンドなNLGタスクにおける従来の指標（BLEU や ROUGE）と人間の評価との間にある不一致を是正すること。
• オープンソースLLMを自動評価指標として用いることの妥当性と有効性を調査すること。
• LLMベースの評価におけるプロンプト戦略、スコアの細分化、コンテキスト内学習、集約技術を体系的に比較すること。
• オープンソースモデルを用いてスコアの根拠を生成することで、LLMベースの指標の説明可能性を向上させること。
• 信頼性があり再現可能で説明可能なNLG評価ツールとして、オープンソースLLMを実装するための実用的ガイドラインを提供すること。

提案手法

• 人間のアノテーターの指示に基づく「人間ガイドライン（HG）」プロンプトと、LLMが生成した指示に基づく「モデルガイドライン（MG）」プロンプトの2つのプロンプト戦略を設計・比較する。
• 1–5スケールと0–100スケールを用いてスコアの細分化を評価し、人間の判断との相関に与える影響を分析する。
• さまざまな種類のコンテキスト内例（例：少数の例示）を含めることで、コンテキスト内学習（ICL）の効果を検証し、LLM評価の整合性への影響を評価する。
• 複数回のLLM実行における平均、中央値、加重平均の3つのスコア集約戦略を比較する。
• LLMを用いてスコアの根拠を生成することで説明可能性を向上させ、その説明の質と一貫性を分析する。
• 最良のプロンプト設定をEval4NLP 2023の共有タスクのテストセット（要約タスク）に適用し、小規模・大規模トラックのベンチマークで性能を報告する。

Figure 1: Examples of Human Guideline (HG) prompt and Model Guideline (MG) prompt. HG prompt and MG prompt consists of task description, evaluation criteria, and evaluation steps. The HG prompt is used as the annotation guideline for summarization evaluation, serving as the basis for human annotator

実験結果

リサーチクエスチョン

• RQ1 人間が作成したとモデルが生成した指示テンプレートは、LLMベースの指標と人間の判断との相関にどのように影響するか？
• RQ2 オープンソースモデルを用いたLLMベースのNLG評価において、最適なスコアの細分化（例：1–5対比0–100）は何か？
• RQ3 例示を用いたコンテキスト内学習は、LLMベースの評価の信頼性と一貫性をどの程度向上させるか？
• RQ4 平均、中央値、加重平均のうち、どのスコア集約戦略が最も安定的で人間の判断と相関する結果をもたらすか？
• RQ5 オープンソースLLMは、人間の評価基準と整合する意味的で一貫性のある根拠を生成できるか？

主な発見

• モデルがガイドするプロンプト（MG）は、特に0–100スケールを用いる場合、人間の判断との相関において人間がガイドするプロンプト（HG）を上回る。
• 0–100スケールは1–5スケールに比べて人間の評価との相関が顕著に向上し、より細分化されたスコアが指標の信頼性を高めることを示唆している。
• コンテキスト内例（ICL）の導入により評価の一貫性が向上し、特に評価基準を反映するように注意深く選択された例示の場合に顕著である。
• 中央値または加重平均による集約は、単純な平均集約よりも安定的で人間の判断と相関する結果をもたらす。
• オープンソースLLMが生成する根拠は一貫性があり、人間の評価基準と整合する解釈可能な根拠を提供している。
• 最良のプロンプト設定は、Eval4NLP 2023の共有タスクで競争的な性能を示し、オープンソースLLMが効果的で説明可能なNLG評価指標として実用可能であることを実証した。

Figure 2: (a) Left - Score Aggregation An example of how the Score Aggregation is calculated. ‘Direct’ uses scores directly generated by the model, ‘Logprob’ uses a weighted summation based on generation probabilities of pre-defined scores (e.g. 1 to 5), and ‘Approximation’ uses an average from N sa