[論文レビュー] MDD-Eval: Self-Training on Augmented Data for Multi-Domain Dialogue Evaluation

Chen Zhang, Luis Fernando D’Haro+2 more|arXiv (Cornell University)|Dec 14, 2021

Topic Modeling被引用数 8

ひとこと要約

MDD-Evalは、人間によるアノテーションデータを活用して教師評価者を学習し、その後、仮のラベル付きで拡張された多ドメイン対話データを用いて学生評価者を学習する自己学習フレームワークを提案する。6つのベンチマークで最先端の指標よりも7%の絶対的向上を達成した。

ABSTRACT

Chatbots are designed to carry out human-like conversations across different domains, such as general chit-chat, knowledge exchange, and persona-grounded conversations. To measure the quality of such conversational agents, a dialogue evaluator is expected to conduct assessment across domains as well. However, most of the state-of-the-art automatic dialogue evaluation metrics (ADMs) are not designed for multi-domain evaluation. We are motivated to design a general and robust framework, MDD-Eval, to address the problem. Specifically, we first train a teacher evaluator with human-annotated data to acquire a rating skill to tell good dialogue responses from bad ones in a particular domain and then, adopt a self-training strategy to train a new evaluator with teacher-annotated multi-domain data, that helps the new evaluator to generalize across multiple domains. MDD-Eval is extensively assessed on six dialogue evaluation benchmarks. Empirical results show that the MDD-Eval framework achieves a strong performance with an absolute improvement of 7% over the state-of-the-art ADMs in terms of mean Spearman correlation scores across all the evaluation benchmarks.

研究の動機と目的

• 多様な対話ドメインに跨る最先端の自動対話評価指標（ADMs）における一般化の欠如に対処すること。
• 限られた人間によるアノテーションから、応答品質の評価スキルとドメイン間一般化能力を学ぶフレームワークを開発すること。
• 人間によるアノテーションデータと大規模な合成データを組み合わせることで、強固で多ドメインに跨る評価を可能にすること。
• 今後のADMsの学習と研究を支援するため、大規模で多ドメインかつ機械アノテーション済みのデータセット（MDD-Data）を公開すること。

提案手法

• 人間によるアノテーション済み対話データを用いて、ドメイン固有の応答品質の差別化を学習する教師評価者を訓練する。
• ランダム発話選択、マスク・フィル、およびバックトランスレーションといったデータ拡張技術を適用して、合成的で多ドメインに跨る対話データを生成する。
• 教師モデルを用いて、拡張されたラベルなし多ドメインデータに仮ラベルを割り当てる。
• 仮ラベル付きの多ドメインデータを用いて、ドメインを越えて評価スキルを一般化できるように学生評価者を微調整する。
• 高信頼度の仮ラベルを繰り返し用いることで、学生モデルの性能を段階的に向上させる自己学習パラダイムを採用する。
• 両方の評価者（教師・学生）のバックボーンとして事前学習済み言語モデルを活用することで、強力な表現学習を確保する。

実験結果

リサーチクエスチョン

• RQ1 自動対話評価指標は、多様な対話ドメインに跨り、応答品質を正確に評価するためにはどのように学習すべきか？
• RQ2 モデルが事前学習したドメインを超えて、評価スキルを一般化するためにどのような技術が必要か？
• RQ3 拡張された多ドメインデータを用いた自己学習は、対話評価におけるゼロショットおよびフェイワショット一般化を向上させられるか？
• RQ4 データ拡張と組み合わせた教師-学生自己学習フレームワークは、多ドメイン評価においてどの程度効果的か？
• RQ5 高品質な合成データは、多様なベンチマークに跨るADMのロバスト性を向上させる上で果たす役割は何か？

主な発見

• MDD-Evalは、6つの対話評価ベンチマークにおいて、最先端のADMsと比較して平均スピアマン相関係数で7%の絶対的向上を達成した。
• Reddit や Twitter データで事前学習されていないにもかかわらず、Movie-Eval や Twitter-Eval などの複数のベンチマークで、DEB や GRADE といった強力なベースラインを上回った。
• MDD-Data を用いた自己教師学習によって訓練された MDD-S モデルは、平均的に DEB を上回った。これは、自己学習とデータ拡張パイプラインの有効性を示している。
• 事例研究の結果、MDD-S はしばしば汎用的または文脈的に無関係な応答に高いスコアを割り当てる傾向があることが判明し、的確な具体性と長距離文脈のモデリングの改善が求められる。
• モデルはエンティティレベルの遷移や発話者依存性を捉えるのが苦手であり、今後の研究における構造的・依存関係モデリングの改善の余地がある。
• MDD-Data と MDD-Eval のコードの公開により、再現性が確保され、今後の多ドメイン対話評価分野の研究が促進される。