[論文レビュー] GRADE: Automatic Graph-Enhanced Coherence Metric for Evaluating Open-Domain Dialogue Systems

Lishan Huang, Zheng Ye+3 more|arXiv (Cornell University)|Oct 8, 2020

Topic Modeling参考文献 28被引用数 6

ひとこと要約

GRADE は、一般常識知識グラフから導出されたグラフ構造的トピック遷移を統合することで、応答評価を向上させる画期的な自動対話整合性メトリクスである。BERTベースの発話表現と、kホップ近傍およびホップアテンションを用いたトピックレベル対話グラフ上のGNN推論を組み合わせることで、最先端のメトリクスよりも人間の判断との相関が著しく高い結果を達成する。

ABSTRACT

Automatically evaluating dialogue coherence is a challenging but high-demand ability for developing high-quality open-domain dialogue systems. However, current evaluation metrics consider only surface features or utterance-level semantics, without explicitly considering the fine-grained topic transition dynamics of dialogue flows. Here, we first consider that the graph structure constituted with topics in a dialogue can accurately depict the underlying communication logic, which is a more natural way to produce persuasive metrics. Capitalized on the topic-level dialogue graph, we propose a new evaluation metric GRADE, which stands for Graph-enhanced Representations for Automatic Dialogue Evaluation. Specifically, GRADE incorporates both coarse-grained utterance-level contextualized representations and fine-grained topic-level graph representations to evaluate dialogue coherence. The graph representations are obtained by reasoning over topic-level dialogue graphs enhanced with the evidence from a commonsense graph, including k-hop neighboring representations and hop-attention weights. Experimental results show that our GRADE significantly outperforms other state-of-the-art metrics on measuring diverse dialogue models in terms of the Pearson and Spearman correlations with human judgements. Besides, we release a new large-scale human evaluation benchmark to facilitate future research on automatic metrics.

研究の動機と目的

• オープンドメイン対話における微細なトピック遷移ダイナミクスを捉えることに失敗している既存の自動メトリクスの限界を解消すること。
• グラフ構造を用いて発話レベルの意味とトピックレベルの流れの両方をモデル化することで、対話整合性評価を向上させること。
• 対話トピックに関する構造的で知識拡張された推論を統合することで、人間の判断に近いメトリクスを開発すること。
• 今後の自動対話評価メトリクス研究を支援するため、大規模な人間アノテートベンチマークを公開すること。

提案手法

• コンセプトネットのノードと整合するように、文脈および応答からのキーワードを用いてトピックレベルの対話グラフを構築する。
• kホップ（k=2）の隣接ノードを用いてノード表現を強化し、エッジの重要性を表すホップアテンション重みを計算する。
• 対話グラフ上で推論を行うためにグラフニューラルネットワーク（GNN）を適用し、微細なトピックレベルの表現を生成する。
• BERTベースの発話レベルの文脈表現とグラフレベルの表現を連結することで統合する。
• 語彙的および意味的差異を両方考慮するネガティブサンプリング戦略を用いて、教師なしでメトリクスを訓練する。
• 連結表現から最終的な整合性スコアを計算するために、マルチレイヤーパーセプトロン（MLP）を用いる。

実験結果

リサーチクエスチョン

• RQ1 トピック遷移に関するグラフ構造的推論は、自動対話整合性評価を改善できるか？
• RQ2 kホップ近傍およびアテンション重みを用いた一般常識知識の統合は、メトリクスのパフォーマンスにどのように影響するか？
• RQ3 発話レベルまたは統計ベースのメトリクスと比較して、グラフ強化メトリクスは人間の判断との相関度で優れているか？
• RQ4 未知のチャイチャイスペックデータセットに対してGRADEはどれほど頑健か？
• RQ5 効果的な整合性スコアリングに最適なグラフ情報量（例：ホップ数や近傍数）はどの程度か？

主な発見

• GRADE は、複数のベンチマークで、すべての最先端メトリクスよりも著しく高いピアソンおよびスピアマンの相関を人間の判断と達成した。
• ネガティブサンプリング戦略は、ランダムサンプリングと比較して平均で6.6%のパフォーマンス向上を示し、その有効性を裏付けた。
• グラフブランチや kホップ近傍、ホップアテンションといった主要なコンponentsを削除すると、性能が顕著に低下し、それらの貢献度が確認された。
• 1ホップあたり10ノードの2ホップ近傍表現を使用すると最良のパフォーマンスが得られ、一方で過剰なグラフ情報は結果を劣化させた。
• GRADE は未知のチャイチャイスペックデータセットに対しても良好な汎用性を示し、強いゼロショット転送性を示した。
• 事例研究では、GRADE が一般的なケースでは良好に動作するが、応答に顕著なトピックが欠如している場合や、現在の発話と文脈的に整合しない場合に困難を示すことが判明した。