[論文レビュー] On Evaluating and Comparing Conversational Agents

Anu Venkatesh, Chandra Khatri+11 more|arXiv (Cornell University)|Jan 11, 2018

Topic Modeling参考文献 20被引用数 50

ひとこと要約

本論文は、非目的志向会話エージェントの包括的でマルチメトリックな評価フレームワークを提案する。人間の判断と強く相関するメトリックを用いることで、主観性を低減する。アレクサプライスコンペティションで適用されたこのフレームワークにより、数百万件の会話において自動的かつ詳細な評価が可能となり、人間評価の信頼できる代替手段として機能する。

ABSTRACT

Conversational agents are exploding in popularity. However, much work remains in the area of non goal-oriented conversations, despite significant growth in research interest over recent years. To advance the state of the art in conversational AI, Amazon launched the Alexa Prize, a 2.5-million dollar university competition where sixteen selected university teams built conversational agents to deliver the best social conversational experience. Alexa Prize provided the academic community with the unique opportunity to perform research with a live system used by millions of users. The subjectivity associated with evaluating conversations is key element underlying the challenge of building non-goal oriented dialogue systems. In this paper, we propose a comprehensive evaluation strategy with multiple metrics designed to reduce subjectivity by selecting metrics which correlate well with human judgement. The proposed metrics provide granular analysis of the conversational agents, which is not captured in human ratings. We show that these metrics can be used as a reasonable proxy for human judgment. We provide a mechanism to unify the metrics for selecting the top performing agents, which has also been applied throughout the Alexa Prize competition. To our knowledge, to date it is the largest setting for evaluating agents with millions of conversations and hundreds of thousands of ratings from users. We believe that this work is a step towards an automatic evaluation process for conversational AIs.

研究の動機と目的

• 非目的志向対話システムにおける主観的評価の課題に取り組み、会話AI分野の進展を阻害する要因を解消すること。
• 人間の判断に依存しない客観的で自動化された評価戦略を構築し、人間の好みと整合性を保ちながら、人間評価への依存度を低減すること。
• 会話品質の多様な側面を捉えるメトリックを用いて、会話エージェントの詳細かつスケーラブルな分析を可能にすること。
• トップパフォーマンスのエージェントを、客観的メトリックに基づいて統一的にランク付けするメカニズムを提供し、大規模な実世界環境に適用可能にする。
• 数百万件のユーザーインタラクションを伴う大規模かつ実世界の展開を通じて、会話AI分野における自動評価の水準を前進させること。

提案手法

• 会話品質の整合性、関連性、関与度に注目し、人間の判断と強く相関する自動メトリックのセットを設計する。
• 人間の評価を予測できる能力に基づいてメトリックを選定し、会話の主観的側面を客観的に反映するようにする。
• アレクサプライスコンペティション中に収集された実際のユーザーインタラクションの数百万件を対象に、会話エージェントの分析にメトリックを適用する。
• 複数のメトリックを統合する重み付き集約メカニズムを用いて、エージェントランク付けのための単一で解釈可能なスコアを生成する。
• さまざまな会話タイプにおいて、メトリックスコアと人間がアノテートした評価が強く相関していることを示すことで、フレームワークの妥当性を検証する。
• アレクサプライスの巨大なデータセットを活用することで、評価アプローチの堅牢性と一般化能力を確保する。

実験結果

リサーチクエスチョン

• RQ1 自動メトリックは、非目的志向会話の評価において、人間の判断の信頼できる代替手段として機能するか？
• RQ2 どの特定のメトリックが、人間がアノテートした会話品質の評価と最も強く相関するか？
• RQ3 複数のメトリックをどのように統合することで、統一的かつ実行可能な会話エージェントのランク付けが可能になるか？
• RQ4 提案された評価フレームワークは、集計された人間評価を超えて、詳細かつスケーラブルな分析をどの程度可能にするか？
• RQ5 このフレームワークは、数百万件のユーザーインタラクションを伴う実世界の大規模展開において、効果的に適用可能か？

主な発見

• 提案されたマルチメトリックフレームワークは、人間の判断と強く相関しており、人間評価の信頼できる代替手段としての有効性が検証された。
• このフレームワークにより、集計された人間評価に反映されないニュアンスを捉える詳細な会話エージェント分析が可能になった。
• 評価戦略はアレクサプライスコンペティション全体を通じて効果的に適用され、トップパフォーマンスのエージェントの選定を支援した。
• システムは数百万件の実際のユーザー会話と数十万件の人間評価を処理し、これまでに知られている最大規模の評価環境となった。
• 統一されたメトリック集約メカニズムにより、人間の好みと整合性を保ちつつ、エージェントのスケーラブルかつ客観的な比較が可能になった。
• 結果から、会話AIシステムの完全自動化と大規模評価への道筋が実現可能であることが示唆された。