[論文レビュー] INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback

Wenda Xu, Danqing Wang+5 more|arXiv (Cornell University)|May 23, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

InstructScore は、GPT-4 の暗黙的知識を活用して自然言語による診断レポートを生成する、細分化され説明可能なテキスト生成評価指標であり、人間によるアノテート済みスコアを必要とせず、エラーの種類、場所、深刻度、根拠を特定する。7B の LLaMA ベースモデルは、すべての非教師あり指標を上回り、COMET22 などの教師あり最先端モデルと同等の性能を示し、反復的改善後、人間の判断との整合性が 13.7% 向上する。

ABSTRACT

Automatically evaluating the quality of language generation is critical. Although recent learned metrics show high correlation with human judgement, these metrics can not explain their verdict or associate the scores with defects in generated text. To address this limitation, we present InstructScore, an explainable evaluation metric for text generation. By harnessing both explicit human instruction and the implicit knowledge of GPT-4, we fine-tune a text evaluation metric based on LLaMA, producing both a score for generated text and a human readable diagnostic report. We evaluate InstructScore on a variety of generation tasks, including translation, captioning, data-to-text and commonsense generation. Experiments show that our 7B model surpasses all other unsupervised metrics, including those based on 175B GPT-3 and GPT-4. Surprisingly, our InstructScore, even without direct supervision from human-rated data, achieves performance levels on par with state-of-the-art metrics like COMET22, which were fine-tuned on human ratings.

研究の動機と目的

• 生成されたテキストに対して詳細で人間が読みやすい診断レポートを提供する説明可能なテキスト生成評価指標を開発すること。
• 人間によるアノテートスコアに依存せずに、エラーの種類、場所、深刻度、根拠を特定することで、細分化されたエラー検出を可能にすること。
• GPT-4 をメタ評価者として用いた自己教師付きフィードバックループにより、モデルの人間の判断との整合性を向上させること。
• 多様なテキスト生成タスクに適応可能な汎用的で非教師ありのトレーニングパイプラインを構築すること。
• 解釈可能性を維持したまま、人間の判断との相関を既存の非教師あり指標を上回ること。

提案手法

• GPT-4 を用いて、明示的な指示テンプレートを用いてテキスト生成エラーの構造的診断レポートを生成することで、合成データセットを構築する。
• 正しさ、一貫性、人間の判断との整合性を評価するため、GPT-4 にエラーの説明を照会するフィードバックパイプラインを設計する。
• 自己生成された診断出力を用いて、フィードバックスコアを最適化することで説明の質を向上させる、7B の LLaMA ベースモデルを微調整する。
• 実際の機械生成出力からの失敗モードをサンプリングし、GPT-4 のフィードバックを再評価することで、モデルを反復的に改善する。
• 複数ターンのプロンプトフレームワークを用いて、エラーのアノテーションを検証し、エラーの場所抽出、フレーズの整合性、深刻度分類を含む。
• GPT-4 を用いた自動評価を適用し、診断レポートにスコアを付与する。正しくない／エラーなしの主張に対しては 1、誤りまたは一貫性のない主張に対しては 0 を割り当てる。

Figure 1: InstructScore generates a comprehensive error diagnostic report for text generation tasks, including error type, location, severity label, and explanation. Based on this report, InstructScore counts the number of major errors (each worth $-5$ ) and minor errors (each worth $-1$ ), ultimate

実験結果

リサーチクエスチョン

• RQ1 非教師ありのテキスト評価指標は、数値スコアを説明する詳細で人間が読みやすい診断レポートを生成できるか？
• RQ2 7B の LLaMA ベースモデルは、175B の閉鎖型モデルと比較して、テキスト生成評価でどの程度の性能を示すか？
• RQ3 GPT-4 からの自己教師付きフィードバックは、人間によるアノテートデータなしで、人間の判断との整合性をどの程度向上できるか？
• RQ4 この指標は、翻訳、キャプション生成、常識的生成など、多様なテキスト生成タスクに一般化可能か？
• RQ5 診断レポートに現れる失敗モードは何か。それらはどのように体系的に検出され、是正されるか？

主な発見

• 7B の InstructScore モデルは、GPT-3（175B）および GPT-4 を用いた指標を含め、複数のテキスト生成タスクで、既存のすべての非教師あり指標を上回る。
• InstructScore は、人間によるアノテートデータなしにトレーニングされているにもかかわらず、機械翻訳において、教師あり最先端の指標である COMET22 と同等の性能を示す。
• InstructScore は、9つの翻訳方向のうち6つにおいて、教師ありの BLEURT を上回り、強力なゼロショット一般化性能を示す。
• GPT-4 のフィードバックを用いた反復的改善後、InstructScore は人間の判断との相関を 13.7% 向上させる。
• この手法は、誤ったエラー場所や誤った深刻度分類といった、診断レポートにおける一般的な失敗モードを効果的に同定・是正する。
• InstructScore が生成する診断レポートは人間のアノテーションと非常に一貫しており、GPT-4 が 98% のエラーなし主張を正しくと確認している。

Figure 2: Our InstructScore pipeline consists of three components: First, we construct synthetic data from GPT-4 and use it to fine-tune a 7B LLAMA model. Second, we sample from real-world machine-generated distribution to trigger InstructScore ’s failure modes. We query GPT-4 on each failure mode a