[論文レビュー] Human-like Summarization Evaluation with ChatGPT

Mingqi Gao, Jie Ruan+4 more|arXiv (Cornell University)|Apr 5, 2023

Topic Modeling被引用数 38

ひとこと要約

本論文は、要約の人間のような評価者としてのChatGPTを、5つのデータセットにわたる4つの評価手法で検討し、人間の判断との相関が競合的で、コスト効率が高く再現性のある評価を示し、プロンプト設計が性能に大きな影響を与えることを示している。

ABSTRACT

Evaluating text summarization is a challenging problem, and existing evaluation metrics are far from satisfactory. In this study, we explored ChatGPT's ability to perform human-like summarization evaluation using four human evaluation methods on five datasets. We found that ChatGPT was able to complete annotations relatively smoothly using Likert scale scoring, pairwise comparison, Pyramid, and binary factuality evaluation. Additionally, it outperformed commonly used automatic evaluation metrics on some datasets. Furthermore, we discussed the impact of different prompts, compared its performance with that of human evaluation, and analyzed the generated explanations and invalid responses.

研究の動機と目的

• 従来の自動指標を超えたテキスト要約のより良い評価の必要性を動機づける。
• 標準的な方法を用いてChatGPTが人間のような評価を行えるかを調査する。
• プロンプトがデータセット全体でChatGPTの評価性能にどのように影響するかを評価する。
• ChatGPTを用いた評価を人間の判断と従来の指標と比較する。

提案手法

• 人間の評価者を模倣するために、温度0、max_tokens 256でChatGPT（gpt-3.5-turbo-0301）を使用する。
• 4つの人間評価手法を適用する：Likertスケール評価、ペアワイズ比較、Pyramid、二値的事実性評価。
• 4つの次元に対する元の人間評価指示を反映するようにプロンプトが設計された。
• Likertの場合は人間判断との相関、その他の手法では正確さで結果を分析する。
• 本論文で言及されているSummEval、Newsroom、および追加のデータセットで評価する。
• ChatGPTの出力から結果を抽出し、NANケースを特定するための後処理規則を提供する。

実験結果

リサーチクエスチョン

• RQ1 標準的な要約評価手法で、人間のような評価をChatGPTが再現できるか？
• RQ2 プロンプト設計はChatGPTの人間判断への一致度にどう影響するか？
• RQ3 ChatGPTはベンチマークデータセットで従来の自動指標より高い相関または正確さを達成するか？
• RQ4 ChatGPTベースの評価と人間の評価のコストと再現性特性はどのようなものか？

主な発見

• ChatGPTはLikert、ペアワイズ、Pyramid、二値的事実性要約評価を、比較的滑らかな注釈で実行できる。
• SummEvalでは、ChatGPTは一般的な自動指標を実質的に上回る。
• Newsroomでは、ChatGPTはトップのBARTScore系統を除けば上位で、強い性能を示す。
• プロンプト設計は性能に大きく影響し、システムプロンプトと定義が人間判断との相関に影響を与える。
• ChatGPTベースの評価は人間の評価より安価で再現性が高く、推定コスト削減とランダム性の制御が可能。
• ChatGPTの説明は一般にスコアと整合しており、次元の定義を提供することで説明における品質次元の分離が改善される。