[論文レビュー] Beyond Turing: Intelligent Agents Centered on the User

Maxine Eskénazi, Shikib Mehri+2 more|arXiv (Cornell University)|Jan 20, 2019

Speech and dialogue systems参考文献 36被引用数 10

ひとこと要約

本論文は、エージェントのパフォーマンスではなくユーザーへの影響に焦点を当てる、ユーザー中心の知能エージェントのパラダイムを提案する。ユーザーの次の反応に基づいてシステム応答を評価するユーザーフィードバック駆動型評価（NUF）を導入し、ユーザー発話からの満足度予測モデルが65.8%の正確性と0.67のMAEを達成することを示した。これは、ユーザーのフィードバックがシステム品質の最も信頼性の高い指標であることを証明している。

ABSTRACT

Most research on intelligent agents centers on the agent and not on the user. We look at the origins of agent-centric research for slot-filling, gaming and chatbot agents. We then argue that it is important to concentrate more on the user. After reviewing relevant literature, some approaches for creating and assessing user-centric systems are proposed.

研究の動機と目的

• エージェントの能力に偏りがちな対話研究のバランスを、ユーザー体験に重きを置くものに是正すること。
• 長年にわたり成功の基準とされてきた人間らしさの模倣（例：チューリングテスト）に焦点を当てる慣習を挑戦すること。
• 従来の指標に代わり、ユーザー満足度とリアルタイムのフィードバックを優先する評価手法を開発すること。
• システム応答後に得られるユーザーのフィードバックが、システム品質を評価するうえで最も信頼性の高い信号であることを実証すること。
• 機能的ツールや会話の模倣者ではなく、ユーザーとパートナーシップを築けるエージェントを設計するフレームワークを提供すること。

提案手法

• ユーザーの次の発話をもとにシステム応答の質を評価する、ユーザーのフィードバックに依存する評価フレームワークを導入する。
• システム応答の質をユーザー反応と比較する三段階の質のスケール（S_sys < S_usr、S_sys = S_usr、S_sys > S_usr）を定義する。
• DSTC-1データのサブセット（1250組のc-x-u（文脈-システム-ユーザー）トリプル）を用い、ユーザーのフィードバックに対してFleiss Kappaが0.515に達した。
• 文脈、システム応答、ユーザー発話を連結した文にTF-IDF加重n-gram特徴（n=1,2）を用いて分類および回帰モデルを訓練する。
• 正確性と平均絶対誤差（MAE）を用いてモデルのパフォーマンスを評価し、ユーザーのフィードバックが順序尺度であることに鑑み、回帰モデルを優先する。
• ユーザーの次の発話のみを入力として使用するユニバーサルなユーザー満足度モデルを検討し、60.3%の正確性と0.81のMAEを達成する高い性能を示した。

実験結果

リサーチクエスチョン

• RQ1 エージェント中心の指標ではなく、ユーザー体験を優先する方法で、知能エージェントのパフォーマンスをどのように評価できるか？
• RQ2 ユーザーの次の発話は、システムの前回応答の質を信頼性高く示す指標としてどの程度有効か？
• RQ3 ユーザー発話のみで学習したモデルが、高精度にユーザー満足度を予測できるか。これにより、高コストな完全な対話アノテーションへの依存を減らせるか？
• RQ4 ユーザーのフィードバックを考慮しないで、単独でシステム応答を評価する従来の評価手法の限界は何か？
• RQ5 リアルタイムのフィードバックに基づいてユーザーのニーズに動的に適応できるように、エージェントシステムをどのように設計できるか？

主な発見

• ユーザーの次の発話（u）のみを入力として使用するモデルは、60.3%の正確性と0.81のMAEを達成し、強い予測能力を示した。
• 文脈、システム応答、ユーザー発話を含むフルモデル（c-x-u）は、65.8%の正確性と0.67のMAEを達成し、文脈とシステム応答のみのモデルを上回った。
• S_sys < S_usr（18.6%）とS_sys > S_usr（35.0%）の差は、孤立した評価がシステム品質をほぼ2倍に高めていることを示しており、過大評価のリスクを浮き彫りにしている。
• ユーザーのフィードバックが順序尺度であることに鑑み、回帰モデルが分類モデルを上回った。これは、隣接する質のレベル間の誤解を減らすのに有効であった。
• ユーザーのフィードバックアノテーションに対して0.515のFleiss Kappaが得られたことから、アノテーター間の一貫性が高く、NUF指標の信頼性が裏付けられた。
• ユーザーの次の発話をシステム品質の指標として用いることで、従来の文脈のみまたは応答のみの評価よりも、より正確でユーザー中心の評価が可能になる。