[論文レビュー] Large-scale Hybrid Approach for Predicting User Satisfaction with Conversational Agents

Dookun Park, Yuan Hao+11 more|arXiv (Cornell University)|May 29, 2020

Human Mobility and Location-Based Analysis被引用数 7

ひとこと要約

本論文では、会話型エージェントにおけるユーザー満足度予測の向上を目的として、明示的なユーザーフィードバック、ユーザーフィードバックデータからの機械学習予測、および人間アノテーションデータからの予測を、ウォーターフォールポリシーを用いて統合する大規模なハイブリッド手法を提案する。この手法は、単独で人間アノテーションやフィードバックに依存する場合と比較して、顕著な性能向上と、分野間でのより高い一貫性を達成した。

ABSTRACT

Measuring user satisfaction level is a challenging task, and a critical component in developing large-scale conversational agent systems serving the needs of real users. An widely used approach to tackle this is to collect human annotation data and use them for evaluation or modeling. Human annotation based approaches are easier to control, but hard to scale. A novel alternative approach is to collect user's direct feedback via a feedback elicitation system embedded to the conversational agent system, and use the collected user feedback to train a machine-learned model for generalization. User feedback is the best proxy for user satisfaction, but is not available for some ineligible intents and certain situations. Thus, these two types of approaches are complementary to each other. In this work, we tackle the user satisfaction assessment problem with a hybrid approach that fuses explicit user feedback, user satisfaction predictions inferred by two machine-learned models, one trained on user feedback data and the other human annotation data. The hybrid approach is based on a waterfall policy, and the experimental results with Amazon Alexa's large-scale datasets show significant improvements in inferring user satisfaction. A detailed hybrid architecture, an in-depth analysis on user feedback data, and an algorithm that generates data sets to properly simulate the live traffic are presented in this paper.

研究の動機と目的

• 大規模な会話型エージェントにおける人間アノテーションによるユーザー満足度データのスケーラビリティと代表性の制限を解消すること。
• 手動アノテーションよりもスケーラブルで代表的であるとされる直接的なユーザーフィードバックを活用して、ユーザー満足度の代理指標とする。
• 特定のインテントや分野においてフィードバックのカバレッジが不十分な状況を、人間アノテーションに基づく予測と組み合わせることで補完する。
• オンライン実験および本番環境へのデプロイに適した、堅牢で一貫性がありスケーラブルなユーザー満足度予測システムを開発すること。
• 正確でリアルタイムの満足度推論を可能にすることで、会話型エージェントの自己学習的進化を実現すること。

提案手法

• ウォーターフォールポリシーを用いて予測ソースの優先順位を設定：まず直接的なユーザーフィードバック、次に高信頼度のフィードバックに基づくモデル予測、最後に人間アノテーションに基づくモデル予測。
• 明示的なユーザーフィードバックデータと人間アノテートされた満足度スコアの両方を対象に、2つの独立した機械学習モデルを訓練する。
• 両モデルの予測を信頼度ベースのルーティング機構を用いて統合し、低カバレッジ状況での誤りを最小限に抑えるハイブリッドアーキテクチャを構築する。
• 実際のトラフィックの分布シフトを模擬するための合成データ生成アルゴリズムを導入する。
• 大規模なAlexaデータセット上でシステムを評価し、トップ20の分野におけるマクロ平均F1、精度、再現率、および標準偏差を指標に性能を測定する。
• 将来的には、高度な機械学習技術を用いて統合層を強化する計画を含み、拡張性を設計に組み込んでいる。

実験結果

リサーチクエスチョン

• RQ1 直接的なユーザーフィードバックを用いることで、人間アノテーションのみのモデルと比較して、ユーザー満足度予測の正確性が顕著に向上するか？
• RQ2 ユーザーのフィードバックと人間アノテーションを統合したハイブリッドモデルが、多様な会話的分野にわたってどのようにより高い一貫性を達成できるか？
• RQ3 フィードバック収集レートの変動が、モデルの性能とユーザー体験に与える影響は何か？
• RQ4 特定のインテントや分野においてフィードバックのカバレッジが不十分な場合、補完的な予測ソースを用いてどのようにしてこれを是正できるか？
• RQ5 ウォーターフォールポリシーを用いたハイブリッドモデルが、正確性と耐性の両面で単一ソースのアプローチを上回るか？

主な発見

• ハイブリッド手法は、評価されたすべてのモデルの中で最高のマクロ平均F1スコア、精度、再現率を達成し、フィードバックのみ、アノテーションのみのベースラインと比べて顕著に優れていた。
• ハイブリッドモデルは、分野間での性能の標準偏差が最も低く、満足度予測の観点で優れた一貫性を示した。
• フィードバック収集率を1%から10%に引き上げたことで、予測の正確性に顕著な向上が見られ、より多くのフィードバックデータが有効であることが裏付けられた。
• 低フィードバックカバレッジの分野においても、人間アノテーションに基づくモデルをフォールバックとして効果的に活用することで、高い性能を維持した。
• ウォーターフォールポリシーは、信頼性の高いフィードバック信号を優先し、低信頼度の予測に依存するのを減らし、全体の耐性を向上させた。
• 合成データ生成手法は、実世界のトラフィックパターンを効果的に模擬でき、分布シフト下でのモデル挙動の信頼性ある評価を可能にした。