[論文レビュー] Multi-domain Conversation Quality Evaluation via User Satisfaction Estimation

Praveen Kumar Bodigutla, Lazaros Polymenakos+1 more|arXiv (Cornell University)|Nov 18, 2019

Speech and dialogue systems参考文献 16被引用数 14

ひとこと要約

本論文は、マルチドメイン対話型AIにおけるドメインに依存しないユーザ満足度推定（USE）フレームワークを提案し、新たな応答品質（RQ）アノテーション方式と、ターンレベルおよび対話レベルのユーザ満足度を予測するための5つの新規特徴量セットを導入している。勾配ブースティング回帰を用いたモデルは、既存ドメインでは人間がアノテートしたスコアと0.79の線形相関を示し、新しいマルチターンドメインでは0.67の相関を示しており、ターンレベルの予測を組み込むことで、二値満足度分類の正確性が16%向上した。

ABSTRACT

An automated metric to evaluate dialogue quality is vital for optimizing data driven dialogue management. The common approach of relying on explicit user feedback during a conversation is intrusive and sparse. Current models to estimate user satisfaction use limited feature sets and employ annotation schemes with limited generalizability to conversations spanning multiple domains. To address these gaps, we created a new Response Quality annotation scheme, introduced five new domain-independent feature sets and experimented with six machine learning models to estimate User Satisfaction at both turn and dialogue level. Response Quality ratings achieved significantly high correlation (0.76) with explicit turn-level user ratings. Using the new feature sets we introduced, Gradient Boosting Regression model achieved best (rating [1-5]) prediction performance on 26 seen (linear correlation ~0.79) and one new multi-turn domain (linear correlation 0.67). We observed a 16% relative improvement (68% -> 79%) in binary ("satisfactory/dissatisfactory") class prediction accuracy of a domain-independent dialogue-level satisfaction estimation model after including predicted turn-level satisfaction ratings as features.

研究の動機と目的

• マルチドメイン対話における対話品質を評価するスケーラブルでドメインに依存しない指標の開発。
• 侵襲的フィードバックや疎なアノテーション、ドメイン特化型特徴に依存する既存手法の限界の解消。
• ドメインを横断して一般化可能な、文脈を豊かに含む新規特徴量セットの導入による対話品質推定の向上。
• 予測されたターンレベル満足度を特徴量として組み込むことで、対話レベルの満足度予測の向上。
• 信頼性の高い自動ユーザ満足度信号を用いたデータ駆動型対話ポリシー最適化の実現。

提案手法

• 1〜5の連続スケールで各対話ターンごとにユーザ満足度を評価する新たな応答品質（RQ）アノテーション方式を導入し、明示的なユーザ評価と高い相関（r = 0.76）を達成した。
• 5つの新規ドメインに依存しない特徴量セットを設計：リクエストの言い換えの兆候、応答の整合性、トピックの多様性、実行不能なリクエストの検出、集計されたドメインの人気度。
• アノテート済みデータ上で、勾配ブースティング回帰、MLP、ラassoを含む6つの機械学習モデルを訓練し、ターンレベルのユーザ満足度を予測した。
• 勾配ブースティングを用いてターンレベル満足度を推定し、その平均予測スコアを対話レベルモデルの特徴量として組み込み、一般化性能の向上を図った。
• 特徴量の重要度分析を実施し、モデル予測の解釈性を高め、新規特徴量の関連性を検証した。
• 26の既存ドメインと1つの未知のマルチターンドメインで性能をベンチマークし、回帰および二値分類の両方の指標を評価した。

実験結果

リサーチクエスチョン

• RQ1 連続的でターンレベルのユーザ満足度推定モデルは、多様なマルチドメイン対話インタラクションに一般化可能か？
• RQ2 ドメインに依存しない新規特徴量は、対話品質推定モデルの性能をどのように向上させるか？
• RQ3 予測されたターンレベル満足度を組み込むことで、対話レベルの満足度予測の正確性はどの程度向上するか？
• RQ4 提案された応答品質（RQ）アノテーション方式は、明示的なユーザフィードバックと強く相関するか？
• RQ5 異なる機械学習モデルは、新しい未知のマルチターンドメインにどの程度一般化するか？

主な発見

• 応答品質（RQ）アノテーション方式は、明示的なターンレベルのユーザ評価と0.76の線形相関を示し、強力な妥当性と信頼性を示した。
• 勾配ブースティング回帰が最高のパフォーマンスを示し、26の既存ドメインにおいて予測されたRQスコアとアノテート済みRQスコアの間で0.79の線形相関を達成した。
• 新しいマルチターンドメインでは0.67の相関を維持し、未観測の応用分野に対しても強固な一般化性能を示した。
• 平均予測ターンレベル満足度を特徴量として組み込むことで、対話レベルモデルにおける二値満足度分類の正確性が16%向上（68%から79%へ）。
• 勾配ブースティングモデルは14のドメインにおいて真の対話レベル評価と0.60の相関を示し、ベースラインと比較して統計的に有意な向上を示した。
• 特徴量の重要度分析により、平均予測ターンレベル満足度が最も影響力のある特徴量であることが確認され、次に平均ASRスコアとドメインの人気度が続くことが判明した。