[論文レビュー] Multi-Dimensional Evaluation of Text Summarization with In-Context Learning

Sameer Jain, Vaishakh Keshava+5 more|arXiv (Cornell University)|Jun 1, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文では、大規模言語モデル（LLMs）を用いた、学習を必要とせず、文脈内学習に基づく多変数テキスト要約評価フレームワークであるIceを提案する。GPT-3に少数の文脈内例を提示することで、事実的一致性および関連性の面で最先端の性能を達成し、微調整された評価モデルと比較して人間の判断とより一致する。また、文脈内例の選択や数にかかわらず安定した性能を示す。

ABSTRACT

Evaluation of natural language generation (NLG) is complex and multi-dimensional. Generated text can be evaluated for fluency, coherence, factuality, or any other dimensions of interest. Most frameworks that perform such multi-dimensional evaluation require training on large manually or synthetically generated datasets. In this paper, we study the efficacy of large language models as multi-dimensional evaluators using in-context learning, obviating the need for large training datasets. Our experiments show that in-context learning-based evaluators are competitive with learned evaluation frameworks for the task of text summarization, establishing state-of-the-art on dimensions such as relevance and factual consistency. We then analyze the effects of factors such as the selection and number of in-context examples on performance. Finally, we study the efficacy of in-context learning based evaluators in evaluating zero-shot summaries written by large language models such as GPT-3.

研究の動機と目的

• 大規模なアノテート済みトレーニングデータセットに依存しない、スケーラブルな多変数要約評価手法の開発。
• LLMsを用いた文脈内学習が、事実的一致性や関連性などの次元において、微調整済み評価モデルの性能を模倣または上回ることの可能性の評価。
• 文脈内例の選択や数の変化に対して、文脈内学習評価モデルの性能がどの程度頑健であるかの評価。
• GPT-3などのモデルが生成するゼロショット要約を評価する際、文脈内学習評価モデルが人間の判断とどの程度一致するかの調査。
• 参照ベースのメトリクスよりも、参照なし評価が非模倣的でゼロショット生成物の要約において人間の好みをよりよく捉えることの実証。

提案手法

• Iceは、生成された要約とその対応するスコアから成る少数の文脈内例（デモンストレーション）を用い、大規模言語モデル（GPT-3 text-davinci-003）を評価用にプロンプトする。
• プロンプトには、評価次元に応じてソーステキスト、リファレンス要約（関連性のため）、または両方を含め、評価対象のテスト要約をスコアリング対象として提示する。
• 各次元（一貫性、関連性、自然さ、一貫性）に対して、関連する文脈を条件付け、0〜1の数値スコアを出力させるために固有のプロンプトテンプレートを設計する。
• スコアは、モデルの決定的出力（温度 = 0）をデコードし、得られた数値文字列をパースすることで抽出する。
• フレームワークは拡張可能である：新しい評価次元を追加するには、再トレーニングではなく、少数の例ペアを含む新しいプロンプトを用意するだけでよい。
• 性能評価は、標準ベンチマークにおける人間アノテートスコアを用い、BRIO や T0 などの学習済みベースライン、ROUGE、BARTScore と比較して行う。

実験結果

リサーチクエスチョン

• RQ1 LLMsを用いた文脈内学習は、多変数テキスト要約評価において、微調整済み評価モデルと同等または優れた性能を達成できるか？
• RQ2 文脈内例の選択や数の変化に対して、文脈内学習評価モデルの性能はどの程度頑健か？
• RQ3 GPT-3のゼロショット要約を評価する際、Ice（文脈内学習評価モデル）は参照ベースのメトリクスよりも人間の判断とより一致するか？
• RQ4 Iceは、追加の微調整や大規模な人間アノテートデータの生成を必要とせずに、新たな評価次元を評価できるか？
• RQ5 ROUGE や BARTScore などの既存の自動メトリクスに比べて、Ice は非参照模倣要約における人間の好みをどの程度よく捉えているか？

主な発見

• 人間評価において、Iceは事実的一致性（0.996）と関連性（0.849）の両面で最先端の性能を達成し、BRIO や T0 などの学習済みベースラインを上回った。
• 文脈内例の数が増えるにつれてモデルの性能はわずかに向上し、均一または多様なプロシージャーで例をサンプリングしても、依然として頑健であった。
• 1つの文脈内例のみを用いても、Iceは弱い微調整済みベースラインと同等の性能を達成しており、事前学習による強いインダクティブバイアスの存在を示している。
• IceはゼロショットGPT-3要約において、人間の判断と高い一致（全体スコア0.937）を示したが、ROUGE や BARTScore はGPT-3要約を人間の好みよりも常に低く評価した。
• 参照なし設計のおかげで、IceはGPT-3のゼロショット要約をより適切に評価でき、これらは非模倣的性質のため、参照ベースのメトリクスでペナルティを受ける。
• フレームワークは拡張可能である：新しい評価次元を追加するには、再トレーニングや合成データ生成を必要とせず、わずかな例ペアを含むプロンプト工学のみで可能。