[論文レビュー] Towards a Unified Multi-Dimensional Evaluator for Text Generation

Ming Zhong, Yang Liu+7 more|arXiv (Cornell University)|Oct 13, 2022

Topic Modeling被引用数 7

ひとこと要約

本稿では、自然言語生成（NLG）評価をブール型質問応答（QA）タスクに定式化することで、一貫性、流暢さ、一貫性、関連性などの複数の次元を1つのモデルで評価できる統合的で多次元的な評価者UniEvalを提案する。UniEvalは、既存の指標と比較して、要約生成では23%、対話応答生成では43%以上も人間の判断との相関を高め、未学習の評価次元やタスクに対しても強いゼロショット一般化性能を示す。

ABSTRACT

Multi-dimensional evaluation is the dominant paradigm for human evaluation in Natural Language Generation (NLG), i.e., evaluating the generated text from multiple explainable dimensions, such as coherence and fluency. However, automatic evaluation in NLG is still dominated by similarity-based metrics, and we lack a reliable framework for a more comprehensive evaluation of advanced models. In this paper, we propose a unified multi-dimensional evaluator UniEval for NLG. We re-frame NLG evaluation as a Boolean Question Answering (QA) task, and by guiding the model with different questions, we can use one evaluator to evaluate from multiple dimensions. Furthermore, thanks to the unified Boolean QA format, we are able to introduce an intermediate learning phase that enables UniEval to incorporate external knowledge from multiple related tasks and gain further improvement. Experiments on three typical NLG tasks show that UniEval correlates substantially better with human judgments than existing metrics. Specifically, compared to the top-performing unified evaluators, UniEval achieves a 23% higher correlation on text summarization, and over 43% on dialogue response generation. Also, UniEval demonstrates a strong zero-shot learning ability for unseen evaluation dimensions and tasks. Source code, data and all pre-trained evaluators are available on our GitHub repository (https://github.com/maszhongming/UniEval).

研究の動機と目的

• テキスト生成品質を評価する際の類似度ベースの指標の限界を是正すること。
• 一貫性、流暢さ、一貫性、関連性といった複数の次元を統合的に評価できる1つのモデルに統合すること。
• 中間のマルチタスク学習を介して外部知識を統合することで、評価の頑健性を向上させること。
• 未学習の評価次元やNLGタスクに対してもゼロショット一般化を可能にすること。
• 包括的なNLG評価のためのスケーラブルで信頼性が高く、解釈可能なフレームワークを提供すること。

提案手法

• 各評価次元が特定の「はい／いいえ」質問に対応するように、テキスト生成評価をブール型質問応答（QA）タスクに再定式化する。
• 1つのT5-largeバックボーンモデルを用いて、多様なQAプロンプトに対する回答を生成することで、1つの統合的評価者から多次元的評価を可能にする。
• 外部知識を注入するために、4つの関連タスク（NLI、感情分類（SST）、言語的関連タスク、汎用QA）を用いた中間のマルチタスク学習フェーズを導入する。
• 各次元のネガティブ例を模倣するために、並記の再表現とスパン削除を用いて合成データを構築し、モデルを訓練する。
• 評価スコアを人間の判断範囲（0–1）に一致させ、人間がアノテートしたデータでファインチューニングすることで相関を向上させる。
• 追加のファインチューニングなしに、新しい次元固有の質問をプロンプトとして提示するだけで、ゼロショット評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つのアーキテクチャを用いて、統合的モデルが複数のテキスト生成品質次元を効果的に評価できるか？
• RQ2 中間のマルチタスク学習フェーズが、評価者の性能と一般化能力をどのように向上させるか？
• RQ3 UniEvalは、ゼロショット設定下で未学習の評価次元やNLGタスクにどの程度一般化できるか？
• RQ4 既存の類似度ベースの指標や統合的指標と比較して、UniEvalは人間の判断との相関でどの程度優れているか？
• RQ5 各中間タスクが最終的な評価性能にどの程度寄与しているか？

主な発見

• UniEvalは、要約生成タスクにおいて、最高性能を示す統合的評価者と比較して、スピアマン相関係数を23%高い水準で達成した。
• 対話応答生成タスクでは、既存の指標と比較して相関係数を43%以上向上させた。
• UniEvalは強いゼロショット一般化性能を示し、ファインチューニングなしに未学習の評価次元やタスクに対しても高い性能を維持した。
• アブレーションスタディの結果、NLIが一貫性評価に最も寄与しており、オープニング文予測タスクが一貫性検出を強化していることが判明した。
• NLI、SST、言語的関連タスク、汎用QAの4つの中間タスクを併用することで、最良の全体的な評価性能が得られた。
• すべてのタスクと次元において、ROUGE や BERTScore、BARTScore といった既存の指標と比較して、UniEvalのスコアは人間のアノテーションに一貫して近い結果を示した。