[論文レビュー] On Evaluating and Comparing Open Domain Dialog Systems

Anu Venkatesh, Chandra Khatri+11 more|arXiv (Cornell University)|Jan 11, 2018

Topic Modeling参考文献 24被引用数 24

ひとこと要約

本論文は、一貫性、関与度、トピックの多様性、ドメインカバレッジ、会話の深さを統合した包括的で多指標の評価フレームワークを提案し、人間の判断における主観性を低減する。統合された指標は人間の評価と強く相関しており（ユーザー評価では r = 0.66、頻繁に使用するユーザーの評価では r = 0.70）、アレクサ・プライズコンペティションのような実世界の環境で、ソーシャルボットの大規模評価の信頼できる代理指標として確立されている。

ABSTRACT

Conversational agents are exploding in popularity. However, much work remains in the area of non goal-oriented conversations, despite significant growth in research interest over recent years. To advance the state of the art in conversational AI, Amazon launched the Alexa Prize, a 2.5-million dollar university competition where sixteen selected university teams built conversational agents to deliver the best social conversational experience. Alexa Prize provided the academic community with the unique opportunity to perform research with a live system used by millions of users. The subjectivity associated with evaluating conversations is key element underlying the challenge of building non-goal oriented dialogue systems. In this paper, we propose a comprehensive evaluation strategy with multiple metrics designed to reduce subjectivity by selecting metrics which correlate well with human judgement. The proposed metrics provide granular analysis of the conversational agents, which is not captured in human ratings. We show that these metrics can be used as a reasonable proxy for human judgment. We provide a mechanism to unify the metrics for selecting the top performing agents, which has also been applied throughout the Alexa Prize competition. To our knowledge, to date it is the largest setting for evaluating agents with millions of conversations and hundreds of thousands of ratings from users. We believe that this work is a step towards an automatic evaluation process for conversational AIs.

研究の動機と目的

• 会話の質に主観的要因が強く関与するため、オープンドメイン会話エージェントの評価に客観的でスケーラブルな手法が不足しているという問題に対処すること。
• 人間の判断と良好に相関する自動指標のセットを構築すること。
• 複数の詳細な指標を統合し、大規模なプロダクション環境でのソーシャルボットの順位付けと比較を可能にする単一の比較可能なスコアを生成すること。
• 機械学習を用いてユーザー評価を自動で予測することで、高コストな人間による評価に依存するのを減らすこと。
• アレクサ・プライズコンペティションから得た数百万件の実際のユーザー相互作用を用いて、会話型AIのベンチマークを確立すること。

提案手法

• 会話のユーザーエクスペリエンス、一貫性、関与度、ドメインカバレッジ、トピックの深さ、トピックの多様性を含む多指標評価フレームワークを設計する。
• アレクサ・プライズコンペティション中に、100万件を超える実際の会話と数10万件のユーザー評価を収集・分析する。
• ピアソン相関とスピアマン相関を用いた統計的相関分析により、自動指標と人間の評価との整合性を検証する。
• 重み付き集約戦略を用いて個々の指標を統合し、複数のエージェント間での比較を可能にする単一の合成スコアを生成する。
• 60,000件の会話データを用いて勾配ブースティング決定木（GBDT）モデルを訓練し、トピック的要因や一貫性指標を含む会話レベルの特徴量を用いてユーザー評価を予測する。
• 将来的な自動評価予測モデルの改善のため、ユーザー単位の特徴量とトピック表現を入力として活用する可能性を検討する。

実験結果

リサーチクエスチョン

• RQ1 自動指標を設計することで、オープンドメイン会話エージェントの評価における主観性を低減できるか？
• RQ2 提示された指標（一貫性、関与度、トピックの多様性など）は、実世界の会話において人間の判断と強く相関するか？
• RQ3 統合された指標は、人間のユーザー評価を反映する形で会話エージェントを効果的に順位付けできるか？
• RQ4 機械学習モデルは会話レベルの特徴量に基づいて、人間のユーザー評価をどの程度正確に予測できるか？
• RQ5 信頼性と妥当性を維持したまま、この評価フレームワークは数百万件の会話にスケーリング可能か？

主な発見

• 統合された評価指標は、総合的なユーザー評価と0.66、頻繁に使用するユーザー評価と0.70の強い相関を示し、人間の判断の代替指標としての信頼性が裏付けられた。
• 提示された指標（一貫性、関与度、トピックの多様性、ドメインカバレッジ、トピックの深さ）は、人間の評価だけでは捉えきれない会話品質の詳細な側面を捉えている。
• 勾配ブースティング決定木（GBDT）を用いた予備モデルは、60,000件の会話データセットにおいて、スピアマン相関0.352、ピアソン相関0.351を達成し、ランダム選択よりも顕著に優れていた。
• 本研究は、これまでに知られている中で最大規模の会話エージェントの評価に基づくものであり、実際のアレクサユーザーから得た100万件を超える会話と数10万件のユーザー評価を含んでいる。
• より大きなデータセットとユーザー単位の特徴量の統合により、自動評価予測モデルの精度は大幅に向上する可能性がある。
• このフレームワークは、すでに実際の現場でアレクサ・プライズコンペティションにおけるソーシャルボットの順位付けと比較に使用されており、実世界でのスケーラビリティと実用性を示している。