[論文レビュー] Designing Precise and Robust Dialogue Response Evaluators

Tianyu Zhao, Divesh Lala+1 more|arXiv (Cornell University)|Apr 10, 2020

Topic Modeling参考文献 20被引用数 5

ひとこと要約

本稿では、精度と頑健性の向上を図るために、RoBERTaを活用した参照なし、半教師付きの対話応答評価モデルを提案する。参照なしスコアリング、限定的な人間アノテーションに基づく半教師付き微調整、強力な事前学習表現を組み合わせることで、人間の判断とPearson相関>0.6、Spearman相関>0.66を達成し、クロスドメインおよび低リソース設定において先行手法を上回る性能を発揮する。

ABSTRACT

Automatic dialogue response evaluator has been proposed as an alternative to automated metrics and human evaluation. However, existing automatic evaluators achieve only moderate correlation with human judgement and they are not robust. In this work, we propose to build a reference-free evaluator and exploit the power of semi-supervised training and pretrained (masked) language models. Experimental results demonstrate that the proposed evaluator achieves a strong correlation (> 0.6) with human judgement and generalizes robustly to diverse responses and corpora. We open-source the code and data in https://github.com/ZHAOTING/dialog-processing.

研究の動機と目的

• 既存の自動対話応答評価モデルの相関が低く、頑健性に欠ける問題に対処すること。
• 応答の基準が存在するモデルに依存することによるスコア分散の低さと一般化性能の悪さを解消することで、評価の精度を向上させること。
• 限定的な人間アノテーションデータと強力な事前学習言語モデルを用いた半教師付き学習により、頑健性を向上させること。
• 低リソースおよびクロスドメイン設定でも効果的な評価を可能にすること。
• 多様で未観測の応答やコーパスに対しても一般化がうまくいく評価モデルを開発すること。

提案手法

• 基準応答に依存しないメトリクスに起因するバイアスや低分散問題を解消するため、参照なしの評価モデルを提案する。
• 人間がアノテートした応答品質スコアの少数セットを用いて、事前学習済みRoBERTaモデルを微調整することで、半教師付き学習を実施する。
• 大規模な対話データ上で、次文予測（NSP）に類似した対照学習の目的関数を用いて、モデルを事前学習する。
• RoBERTaからの文脈表現と全結合ネットワークを組み合わせ、応答品質スコアを予測する。
• 事前学習段階でマージンランク損失を適用し、正解応答とネガティブサンプルを区別できるようにする。
• マルチターンの対話文脈と応答ペアを入力とし、1つの品質スコアを予測する。

実験結果

リサーチクエスチョン

• RQ1 参照なしの応答評価モデルは、参照依存のベースラインと比較して、人間の判断との相関をより高く達成できるか？
• RQ2 限定的な人間アノテーションデータに対する半教師付き微調整は、評価モデルの性能と頑健性を向上させるか？
• RQ3 RoBERTaベースのモデルは、未観測のドメインや低リソース設定に対しても効果的に一般化できるか？
• RQ4 本手法の評価モデルは、敵対的または分布外の応答に対しても頑健か？
• RQ5 テストデータから正解応答が削除された状態でも、評価モデルの性能が維持されるか？

主な発見

• RoBERTaベースの評価モデルは、人間の判断とPearson相関0.64、Spearman相関0.66を達成し、ADEM（0.34, 0.36）やRUBER（0.37, 0.31）を著しく上回る。
• 正解応答をテストデータから削除した状態でも、高い相関（Pearson 0.62、Spearman 0.64）を維持しており、参照の削除に対しても頑健であることが示された。
• DailyDialogで学習しPersonaChatでテストした場合、Pearson相関0.69、Spearman相関0.69を達成し、モデルの一般化能力が優れていることが確認された。
• PersonaChatで学習しDailyDialogでテストした場合、性能が低下したため、トランスファー学習におけるドメイン感受性が確認された。
• わずか100件のアノテート済みサンプルのみで、ほぼ最適な性能が達成されたため、低リソース学習能力が優れていることが示された。
• 関連性アノテーションとの相関はPearson 0.68、Spearman 0.67であったが、文法的正しさとの相関はそれぞれ0.09と0.15にとどまり、文脈的な適切さをよりよく捉えていることが示された。