[論文レビュー] Simple LLM Prompting is State-of-the-Art for Robust and Multilingual Dialogue Evaluation

John Mendonça, Patrícia Pereira+4 more|arXiv (Cornell University)|Aug 31, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文は、ChatGPT などの大規模言語モデル（LLM）のシンプルなプロンプト技術を活用し、自己教師付きサブメトリクス（例：NSP、MLM、VSP）とアンサンブル重み付けを組み合わせた、新規で多言語対応かつ耐障害性に優れた対話評価フレームワークを提案する。このフレームワークは、DSTC11 Track 4 のロバスト性および多言語対応タスクで最先端の性能を達成し、従来手法を大きく上回った。

ABSTRACT

Despite significant research effort in the development of automatic dialogue evaluation metrics, little thought is given to evaluating dialogues other than in English. At the same time, ensuring metrics are invariant to semantically similar responses is also an overlooked topic. In order to achieve the desired properties of robustness and multilinguality for dialogue evaluation metrics, we propose a novel framework that takes advantage of the strengths of current evaluation models with the newly-established paradigm of prompting Large Language Models (LLMs). Empirical results show our framework achieves state of the art results in terms of mean Spearman correlation scores across several benchmarks and ranks first place on both the Robust and Multilingual tasks of the DSTC11 Track 4 "Automatic Evaluation Metrics for Open-Domain Dialogue Systems", proving the evaluation capabilities of prompted LLMs.

研究の動機と目的

• 既存の自動評価フレームワークにおける多言語およびパラフレーズ耐性に優れた対話評価指標の不足を解消すること。
• 現代の LLM が、特にシンプルなプロンプト技術を用いることで、従来のエンコーダー基盤モデルと比較して優れた評価者として機能できるかどうかを調査すること。
• 人間の評価と高い相関を維持する、統一的かつリファレンスフリーな対話評価システムを構築すること。このシステムは、多様な言語およびパラフレーズ対応応答に対しても有効である。
• プロンプトベースの LLM 評価が、教師あり、自己教師付き、微調整済みベースラインモデルを上回る耐障害性および多言語対応性を示すことを実証すること。

提案手法

• フレームワークは、有効な文の予測（VSP）、次の文の予測（NSP）、マスキング言語モデル（MLM）、関与度（ENG）、および ChatGPT といった複数のサブメトリクスを統合し、対話応答の特定の品質要因に焦点を当てる。
• 各サブメトリクスは、文脈、応答、および品質要因（例：一貫性、関連性）から成る入力をプロンプトとして与えられ、LLM が言語的および機能的品質を理解した上でスコアを出力する。
• サブメトリクスのスコアは、品質要因に応じた重み付けがなされ、アンサンブル化されて最終的な対話評価スコアが生成される。これにより、耐障害性および多言語への一般化性能が確保される。
• ChatGPT にはゼロショットプロンプトが使用され、エンコーダー基盤サブメトリクスには微調整済みの自己教師付き目的関数が適用され、言語や応答のバリエーションにかかわらず互換性が保証される。
• 本システムは、DSTC11 などの多様なベンチマークで訓練および評価され、特にパラフレーズ不変性および多言語間転送性能に注力されている。
• 最終モデルは github.com/johndmendonca/DialEvalML でオープンソース化されており、サブメトリクス用のチェックポイントおよびコードも提供されている。

Figure 1: Proposed framework architecture. The Response , Context and Quality Aspect under evaluation are fed to the submetrics: VSP (Valid Sentence Prediction), NSP (Next Sentence Prediction), MLM (Masked Language Modelling), ENG (Engagement) and ChatGPT . Each submetric score is then weighted acco

実験結果

リサーチクエスチョン

• RQ1 ChatGPT などの LLM に対してシンプルなプロンプトを適用することで、微調整なしに対話評価で最先端の性能を達成できるか？
• RQ2 プロンプト付き LLM は、多言語およびパラフレーズ対応の対話入力において、人間の評価とどの程度高い相関を維持できるか？
• RQ3 自己教師付きタスクと LLM プロンプトに基づくサブメトリクスのアンサンブルは、従来のエンコーダー基盤モデルと比較して、耐障害性および多言語対応性においてどのように優れているか？
• RQ4 LLM を用いた評価の失敗モードは何か。特に、コンテンツの豊かさや適切さのスコアリングにおいて、RLHF のバイアスとどのように関係しているか？

主な発見

• 提案されたフレームワークは、複数のベンチマークで人間評価との平均スピアマン相関係数が最も高く、既存の自動指標を上回った。
• DSTC11 Track 4 のロバスト性および多言語タスクの両方で 1 位を達成し、ロバスト性ではターンレベルおよびダイアログレベルで 1 位、多言語対応では両レベルで 1 位を記録した。
• ChatGPT 単体でも従来のエンコーダー基盤モデルを上回り、人間評価との相関が平均で 3 ポints 以上高いスコアを達成した。
• 強力な性能を発揮したものの、特定のトピック（例：「weed」）が含まれる場合、応答品質を系統的に低く評価する傾向が見られ、これは RLHF に基づく安全性の優先順位による可能性がある。
• モデルはしばしばコンテンツの豊かさと関連性を混同しており、品質要因を明確に区別できるようにプロンプト設計を改善する必要がある。
• フレームワークは、エンコーダー基盤ベースラインのモデル選定および訓練に数か月を要するのに対し、1 日のプロンプト設計でそれを上回ることを示し、対話評価分野におけるパラダイムシフトを示唆している。