[論文レビュー] Domain-Independent turn-level Dialogue Quality Evaluation via User Satisfaction Estimation

Praveen Kumar Bodigutla, Longshaokan Wang+5 more|arXiv (Cornell University)|Aug 19, 2019

Speech and dialogue systems参考文献 9被引用数 7

ひとこと要約

本稿では、独自の応答品質（RQ）アノテーションスキームと5つの新しいドメインに依存しない特徴量を用いて、ドメインに依存しない、ユーザー満足度に基づく対話品質評価フレームワークを提案する。勾配ブースティング回帰を用いて予測された満足度とアノテートされた満足度の間に高い相関（r ≈ 0.79）を達成しており、アブレーションスタディでは顕著な改善が得られ、未学習ドメインに対しても良好な一般化性能を示している（r ≈ 0.67）。

ABSTRACT

An automated metric to evaluate dialogue quality is vital for optimizing data driven dialogue management. The common approach of relying on explicit user feedback during a conversation is intrusive and sparse. Current models to estimate user satisfaction use limited feature sets and rely on annotation schemes with low inter-rater reliability, limiting generalizability to conversations spanning multiple domains. To address these gaps, we created a new Response Quality annotation scheme, based on which we developed turn-level User Satisfaction metric. We introduced five new domain-independent feature sets and experimented with six machine learning models to estimate the new satisfaction metric. Using Response Quality annotation scheme, across randomly sampled single and multi-turn conversations from 26 domains, we achieved high inter-annotator agreement (Spearman's rho 0.94). The Response Quality labels were highly correlated (0.76) with explicit turn-level user ratings. Gradient boosting regression achieved best correlation of ~0.79 between predicted and annotated user satisfaction labels. Multi Layer Perceptron and Gradient Boosting regression models generalized to an unseen domain better (linear correlation 0.67) than other models. Finally, our ablation study verified that our novel features significantly improved model performance.

研究の動機と目的

• ユーザーのフィードバックを直接得ることなく、スケーラブルでドメインに依存しない対話品質評価手法の開発。
• 既存のインタラクション品質（IQ）アノテーションスキームの限界、特に低レベルの評価者間信頼性とドメイン間での一般化の難しさを解決すること。
• 明示的なユーザー満足度評価と高い相関を示す新たな応答品質（RQ）アノテーションスキームの構築。これにより、マルチドメイン評価が可能となる。
• ユーザーの言い換え、応答の一貫性、対話内のトピック多様性、実行不能な要求、トピックの人気度を捉える5つの新しいドメインに依存しない特徴量の設計。
• 連続的なユーザー満足度スコアを高精度に予測できる機械学習モデルを訓練・評価し、未学習ドメインへの一般化性能を確保すること。

提案手法

• 3名のアノテーターが、目的達成度に基づき1〜5段階のスケールで各対話ターンをRQスコアで評価し、平均化して連続的ターゲットとする新しいRQアノテーションスキームを導入。
• ユーザーの言い換え検出、システム応答の一貫性、対話内のトピック多様性、実行不能なユーザー要求、使用統計からのトピック集約的人気度を捉える5つの新規特徴量セットを設計。
• アノテート済みデータ上で6種類の機械学習モデル（LASSO、決定木、ランダムフォレスト、勾配ブースティング、MLP、SVR）を訓練し、連続的ユーザー満足度スコアを予測。
• 評価指標としてピアソン相関（r）と不満足ターンのFスコアを用い、特徴量の重要度と影響を評価するためのアブレーションスタディを実施。
• モデルの解釈性技術を用いて特徴量の重要度順に並べ替え、性能向上への寄与を検証。
• ゼロショット一般化評価のため、1つの未学習のマルチターンAlexaスキルを予め確保し、ドメインを越えたモデルの頑健性をテスト。

実験結果

リサーチクエスチョン

• RQ1 明示的なユーザー満足度評価と高い相関を示す新しいアノテーションスキームを用いて、ドメインに依存しない対話品質評価フレームワークを構築可能か？
• RQ2 提案された5つの新しいドメインに依存しない特徴量は、従来の特徴量と比較して、ユーザー満足度推定モデルの性能をどの程度向上させるか？
• RQ3 対話ターンレベルのユーザー満足度予測において、どの機械学習モデルが未学習ドメインに最も良好に一般化するか？
• RQ4 新しい特徴量は、特に未学習ドメインにおけるゼロショット設定で、モデル性能をどの程度向上させるか？
• RQ5 提案されたユーザー満足度推定（USE）メトリクスは、強化学習ベースの対話ポリシー最適化における報酬モデリングの代替手段として実用的か？

主な発見

• RQアノテーションスキームは、スピアマンのrho = 0.94を示し、高い評価者間一貫性を示した。
• RQスコアは、明示的なターンレベルのユーザー満足度評価と高い相関（r = 0.76）を示し、代替指標としての有効性が裏付けられた。
• 勾配ブースティング回帰が、学習済みドメインで最良の性能を示し、予測された満足度とアノテートされた満足度の間で相関r ≈ 0.79を達成した。
• 未学習のマルチターンスキルでは、勾配ブースティングとMLPモデルが両方とも相関r ≈ 0.67を達成し、他のモデルを上回り、優れた一般化性能を示した。
• アブレーションスタディの結果、『集約的トピック人気度』特徴量は単一ターンドメインで相関を約7%向上させた。また、『実行不能な要求』特徴量は、未学習スキルで約35%の相対的改善をもたらした。
• 5つの新しい特徴量セットは、勾配ブースティングモデルにおいて上位10位以内の重要度にランクされ、予測性能への顕著な貢献が確認された。