[論文レビュー] ACUTE-EVAL: Improved Dialogue Evaluation with Optimized Questions and Multi-turn Comparisons

Margaret Li, Jason Weston+1 more|arXiv (Cornell University)|Sep 6, 2019

Topic Modeling参考文献 27被引用数 79

ひとこと要約

ACUTE-EVAL は、最適化された質問と任意のセルフチャットを用いた、ペアワイズの多ターン対話評価法を導入し、対話モデルの評価における信頼性とコスト効率を Likert スケールより改善します。

ABSTRACT

While dialogue remains an important end-goal of natural language research, the difficulty of evaluation is an oft-quoted reason why it remains troublesome to make real progress towards its solution. Evaluation difficulties are actually two-fold: not only do automatic metrics not correlate well with human judgments, but also human judgments themselves are in fact difficult to measure. The two most used human judgment tests, single-turn pairwise evaluation and multi-turn Likert scores, both have serious flaws as we discuss in this work. We instead provide a novel procedure involving comparing two full dialogues, where a human judge is asked to pay attention to only one speaker within each, and make a pairwise judgment. The questions themselves are optimized to maximize the robustness of judgments across different annotators, resulting in better tests. We also show how these tests work in self-play model chat setups, resulting in faster, cheaper tests. We hope these tests become the de facto standard, and will release open-source code to that end.

研究の動機と目的

• 費用が高く一貫性に欠ける人間の判断への依存を減らし、オープンドメイン対話の評価課題に対処する。
• 会話の流れに関係なく話者の質を分離する、堅牢なペアワイズの多ターン評価フレームワークを開発する。
• 異なる評価軸におけるアノテータ間の合意を最大化するように質問文を最適化する。
• 人間–モデル対話と自己対話の両方への適用性を示し、複数のタスクで最先端モデルをベンチマークする。

提案手法

• Acute-eval を提案する：二つの全文対話をペアワイズで比較し、片方の話者を強調し、対象となる品質（例：エンゲージメント、興味深さ、人間らしさ、知識性）について尋ねる。
• 二値判断（Speaker A 対 Speaker B）を用い、二項検定で統計的有意性を測定する。
• 信頼性を維持しつつデータ収集コストを削減するため、人間–モデル対話と自己対話の両方を検討する。
• 複数の言い回しをテストして最も高いアノテータ間合意を得られる質問表現を体系的に最適化する。
• 複数の評価軸にわたり、PersonaChat および Wizard of Wikipedia モデルを人間の性能と比較してベンチマークする。

実験結果

リサーチクエスチョン

• RQ1 Acute-eval は、多様な対話タスクにおいて、マルチターン Likert よりも堅牢で感度の高い評価を生み出しますか？
• RQ2 最適化されたペアワイズ質問は、アノテータ間の合意を高め、より速く、安価な注釈を可能にしますか？
• RQ3 自己対話は、モデルの強みと弱みを特定する際に、人間–モデル対話とどのように比較されますか？
• RQ4 エンゲージメント、興味深さ、人間らしさ、知識性の各指標における最先端モデルの相対的なランキングはどうなりますか？
• RQ5 最適化された質問下で、検索ベースの知識と知識に基づく生成のどちらが優れていますか？

主な発見

• 最適化された質問は高いアノテータ間合意を達成し（例：興味深さで最大86.7%）、より迅速で安価なベンチマークを可能にする。
• Acute-eval は全体として一貫したモデルランキングを生み、Likert ベースの評価では見逃されることがある有意差を明らかにする。
• 検索型モデル（例：Polyencoder）は PersonaChat のエンゲージメント指標で生成モデルを上回ることがあり、生成モデル優勢という仮定に異を唱える。
• 自己対話は人間–モデル対話と同様のランキングを提供し、データ収集コストを大幅に削減する一方、いくつかのモデル（例：Hugging Face）は自己対話で劣化を示す。
• Wizard of Wikipedia 全体では、知識を含む検索（RK）が一般に他の構成を上回り、知識有効化された検索は生成モデルの知識性評価を向上させる。
• Acute-eval は複数の比較で Likert と比べて感度が高く、有意性を得るのに必要な人時数を減らすことを示す。