[論文レビュー] Sentiment Adaptive End-to-End Dialog Systems

Weiyan Shi, Zhou Yu|arXiv (Cornell University)|Apr 28, 2018

Speech and dialogue systems参考文献 37被引用数 11

ひとこと要約

本稿では、音声的、文語的、対話的特徴から得られるマルチモーダルなユーザーの感情状態を、教師あり学習および強化学習の両フレームワークに統合する感情適応型エンドツーエンド対話システムを提案する。リアルタイムでの感情検出を文脈特徴または即時の報酬として使用することで、対話の長さを短縮し、タスク達成率を向上させ、バス情報検索タスクにおいて最先端の性能を達成した。

ABSTRACT

End-to-end learning framework is useful for building dialog systems for its simplicity in training and efficiency in model updating. However, current end-to-end approaches only consider user semantic inputs in learning and under-utilize other user information. Therefore, we propose to include user sentiment obtained through multimodal information (acoustic, dialogic and textual), in the end-to-end learning framework to make systems more user-adaptive and effective. We incorporated user sentiment information in both supervised and reinforcement learning settings. In both settings, adding sentiment information reduced the dialog length and improved the task success rate on a bus information search task. This work is the first attempt to incorporate multimodal user information in the adaptive end-to-end dialog system training framework and attained state-of-the-art performance.

研究の動機と目的

• ユーザーの感情に適応可能なエンドツーエンドで訓練可能な対話システムを開発し、ユーザー満足度と対話効率を向上させること。
• 人間とコンピュータの対話において重要な感情を無視する現在のエンドツーエンドシステムの限界を解決すること。
• 音声的、文語的、対話的（対話的）なマルチモーダル感情情報（音声的特徴、文語的特徴、対話的特徴）を、教師あり学習および強化学習の両方の訓練フレームワークに統合すること。
• 手動によるルール設計なしに、ユーザーの感情状態に基づいて自動的に応答を調整する感情認識型対話ポリシーを構築すること。
• 実世界の対話タスクにおける実証的評価を通じて、感情統合の有効性を示すこと。

提案手法

• 音声的特徴（例：ピッチ、エネルギー）、文語的特徴（例：感情ラベル付き語彙、埋め込み表現）、対話的特徴（例：遮断回数、ターンオーバーのパターン）を用いたマルチモーダル感情検出器を開発した。
• 教師あり学習に基づくエンドツーエンド対話ポリシー・ネットワークに、感情検出器をリアルタイムの文脈特徴として統合した。
• 感情スコアを強化学習フレームワークにおける即時の報酬として使用し、従来の遅延したタスク達成報酬に代わってまたは補完して用いた。
• 実際の対話データにラベル付けされた感情状態からサンプリングすることで、RL訓練中にユーザーの感情状態をシミュレートし、より高速かつ適応的なポリシー学習を可能にした。
• アテンション機構を備えたシーケンス・トゥ・シーケンスモデルを用いて、理解、計画、生成を統合的に最適化できるエンドツーエンドの対話ポリシーを訓練した。
• 報酬設計を感情フィードバックを直接RL目的関数に組み込むことで、手動による報酬設計なしに感情に敏感な応答戦略を学習可能にした。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド対話システムにマルチモーダルなユーザー感情を統合することで、タスク達成率の向上と対話長の短縮が図れるか？
• RQ2 教師あり学習におけるリアルタイム感情を文脈特徴として使用した場合、対話ポリシーの性能にどのような影響を与えるか？
• RQ3 強化学習において感情スコアを即時の報酬として使用することで、ポリシー収束がどの程度速まり、性能が向上するか？
• RQ4 明示的なルールベースのプログラミングなしに、感情適応型対話ポリシーが洗練された応答戦略（例：否定的感情に対する詳細なエラー処理）を学習できるか？
• RQ5 モデルの適応性とユーザー満足度の観点から、従来のタスク達成率のみを目的とする報酬設計と比較して、感情統合はどのように異なるか？

主な発見

• 教師あり学習の設定において、感情適応型モデル（SRRIP）は94.3％の収束達成率を達成し、ベースライン（92.4％）を有意に上回った（p < 0.01）。
• 感情適応型システムは、否定的感情を検出するとより詳細なエラー処理応答を提供することで、対話長を短縮した。例えば、「どこから出発しますか？たとえば、<場所>とおっしゃってください」といった具体的な誘導を実行した。
• 強化学習において、感情を即時の報酬として使用したモデル（SRRIP）は、最高の達成率（94.3％）を記録し、ベースラインと比較してより高速かつ効果的なポリシー学習が可能であることを示した。
• システムは、ユーザーがいらだちを示した際により多くの誘導を提供する戦略を、明示的なルールベースの干渉なしに自動的に学習した。
• 遮断やターンオーバーのパターンなどの対話的パターンを含むマルチモーダル特徴に基づいて訓練された感情検出器は、高い信頼性を示し、対話中におけるリアルタイムの適応を可能にした。
• エンドツーエンドでタスクに依存しない訓練手順を採用しているため、本アプローチはドメインを越えて一般化しやすく、カスタマーサービス、医療、教育分野などに広く応用可能であると考えられる。