[論文レビュー] Perspectives for Evaluating Conversational AI

Mahipal Jadeja, Neelanshi Varia|arXiv (Cornell University)|Sep 14, 2017

AI in Service Interactions参考文献 4被引用数 4

ひとこと要約

本論文は、ユーザー体験、情報検索、言語的、人工知能の4つの視点から、検索指向の対話型AIシステムを評価するフレームワークを提案する。パーソナライズされ、適応的な対話の重要性を強調し、普遍的なメトリクスの確立が鍵となる課題であると指摘。システムの成功を基本的なタスク達成を超えて高めるために、反復的設計と文脈に配慮したパーソナライズを提唱する。

ABSTRACT

Conversational AI systems are becoming famous in day to day lives. In this paper, we are trying to address the following key question: To identify whether design, as well as development efforts for search oriented conversational AI are successful or not.It is tricky to define 'success' in the case of conversational AI and equally tricky part is to use appropriate metrics for the evaluation of conversational AI. We propose four different perspectives namely user experience, information retrieval, linguistic and artificial intelligence for the evaluation of conversational AI systems. Additionally, background details of conversational AI systems are provided including desirable characteristics of personal assistants, differences between chatbot and an AI based personal assistant. An importance of personalization and how it can be achieved is explained in detail. Current challenges in the development of an ideal conversational AI (personal assistant) are also highlighted along with guidelines for achieving personalized experience for users.

研究の動機と目的

• 対話型AIシステムの標準化された評価手法の欠如、特にビジネス的でない文脈における課題を解決すること。
• 従来のKPIを超えて、検索指向の対話型AIシステムの成功基準を特定すること。
• パーソナライズが仮想個人アシスタント（VPA）におけるユーザー体験とシステム効果性をどのように向上させるかを調査すること。
• 定性的でユーザー依存の特徴を考慮した多面的評価フレームワークを提唱すること。
• ユーザー行動から学び、時間とともに適応する未来のAIアシスタントの開発を支援すること。

提案手法

• ユーザー体験、情報検索、言語的、人工知能の4つの評価視点を提案。それぞれが対話型AIパフォーマンスの異なる側面を対象とする。
• 使用パターンや好みに基づいてシステム行動を改善するため、ユーザーのフィードバックループと反復的設計を統合する。
• ユーザーの習慣、コマンド頻度、履歴対話の記録を通じて、文脈に配慮したパーソナライズを強調する。
• 自然言語処理（NLP）、機械学習、人工ニューラルネットワークを用いて、適応的で人間らしい応答を可能にする。
• 過去の行動と時間的文脈に基づき、ユーザーの意図を予測し、行動を提案するための後処理技術を適用する。
• 文脈記憶、感情的トーン、能動的なタスク支援の例を通じて、人間らしい会話を実現する。

実験結果

リサーチクエスチョン

• RQ1 非商業的応用において、標準的なビジネスKPIを超えて対話型AIシステムをどのように評価できるか。
• RQ2 検索指向の対話型AIシステムの成功を定義づける主な次元は何か。
• RQ3 対話型AIにおけるパーソナライズを体系的に行う方法は何か。これによりユーザー体験と長期的エンゲージメントがどのように向上するか。
• RQ4 文脈履歴とユーザー行動モデリングが、知的で予測可能なアシスタント対話の実現に果たす役割は何か。
• RQ5 異なる対話型AIシステム間で、定性的でユーザー依存の特徴を一貫して測定する方法は何か。

主な発見

• ユーザー体験、情報検索、言語的、人工知能の4視点からなる提案された評価フレームワークは、対話型AIシステムの評価に包括的な構造を提供する。
• パーソナライズは、履歴行動と好みに基づく文脈に配慮した予測的で適応的な対話により、ユーザー体験を顕著に向上させる。
• ユーザーの習慣を学び、頻出コマンドを記憶する対話型AIシステムは、時間の経過とともに応答の関連性を高め、ユーザーの負担を軽減できる。
• 文脈記憶、感情的トーン、能動的な提案を通じて、人間らしい会話は実現可能である。これはフライト予約の例で示された。
• 最大の課題は、極度のパーソナライズと、定性的な評価特徴に対する普遍的で標準化されたメトリクスの両立にある。
• 特に長期的エンゲージメントを実現するため、仮想個人アシスタントにおける知的で先制的な行動を可能にするために、ユーザーデータの後処理が不可欠である。