[論文レビュー] Learning Personalized End-to-End Goal-Oriented Dialog

Liangchen Luo, Wenhao Huang+3 more|arXiv (Cornell University)|Nov 12, 2018

Topic Modeling参考文献 18被引用数 4

ひとこと要約

本稿では、ユーザープロファイル埋め込みと好みモデリングを統合することで、目的志向対話システムの性能を向上させるエンドツーエンドのメモリネットワークモデル、Personalized MemN2Nを提案する。プロファイルに配慮した応答選択と好み駆動型の候補順位付けを活用することで、タスク実行およびユーザ満足度の面でベースラインを著しく上回り、応答の正確性も7%向上を達成した。

ABSTRACT

Most existing works on dialog systems only consider conversation content while neglecting the personality of the user the bot is interacting with, which begets several unsolved issues. In this paper, we present a personalized end-to-end model in an attempt to leverage personalization in goal-oriented dialogs. We first introduce a Profile Model which encodes user profiles into distributed embeddings and refers to conversation history from other similar users. Then a Preference Model captures user preferences over knowledge base entities to handle the ambiguity in user requests. The two models are combined into the Personalized MemN2N. Experiments show that the proposed model achieves qualitative performance improvements over state-of-the-art methods. As for human evaluation, it also outperforms other approaches in terms of task completion rate and user satisfaction.

研究の動機と目的

• コンテンツベースの対話モデルがユーザーパーソナリティや好みに適応できないという限界を解消すること。
• 中間の監視情報や事前学習を必要とせず、エンドツーエンドのパーソナライゼーションを実現すること。
• 応答の関連性、言語スタイルの適応、曖昧なユーザーリクエストの解消を改善すること。
• プロファイルに配慮した好みベクトルを用いて、知識ベースのエンティティにおけるユーザーポリシーをモデリングすること。
• 自動指標と人間評価の両方を用いて、モデルの有効性を評価すること。

提案手法

• プロファイルモデルは、ユーザープロファイルを分散表現にエンコードし、グローバルメモリを介して類似ユーザの会話履歴を取得する。
• 好みモデルは、プロファイル依存のアテンション重みを用いて、知識ベースの属性（例：連絡先タイプ）におけるユーザーポリシーを学習する。
• 2つのモデルは、メモリネットワークアーキテクチャの下で統合された包括的な Personalized MemN2N フレームワークに統合される。
• 応答選択には重み付きスコアリング機構が用いられ、プロファイル埋め込みが学習された傾向重みを通じて候補順位付けに影響を与える。
• L2正規化された好みベクトルを用いて、KBのカラム（例：電話番号対SNS）にわたるユーザーポリシーを表現する。
• モデルは、プロファイルおよび好みのコンポonentを共同最適化することで、パーソナライズド bAbI 対話データセット上でエンドツーエンドに学習される。

実験結果

リサーチクエスチョン

• RQ1 ユーザープロファイルのエンドツーエンド学習は、目的志向対話における応答の関連性を向上させることができるか？
• RQ2 曖昧なKBエンティティにおけるユーザーポリシーの統合は、対話性能にどのように影響するか？
• RQ3 類似ユーザの会話履歴をグローバルメモリで保持することで、パーソナライゼーションはどの程度向上するか？
• RQ4 プロファイルに配慮した応答選択は、人間評価におけるタスク実行率とユーザ満足度を向上させることができるか？
• RQ5 プロファイル埋め込みと好みベクトルは、曖昧なユーザーリクエストの解消にどの程度寄与するか？

主な発見

• Personalized MemN2N は、全会話タスク（タスク5）において、最良のベースライン比で応答正確性が7%絶対的に向上した。
• 人間評価では、標準的な MemN2N ベースラインと比較して、タスク完了率が27.6%高く、満足度スコアが14.3%高い（p < 0.03）。
• 生成された重みの混同行列における対角成分の高さから、プロファイル埋め込みが、ユーザープロファイルと一致する候補の傾向重みを顕著に高めていることが示された。
• コントロール実験において、類似ユーザの会話履歴を用いた場合、グローバルメモリコンponentは、性能を4.5ポイント向上させた（91.70% 対 87.17% の正確性）。
• 学習された好みベクトルの証拠から、若年層のユーザはSNS連絡先を好むのに対し、高年齢層のユーザは電話番号を好む傾向がモデルによって正しく学習された。
• プロファイルと好みモデリングの統合により、言語スタイルや推薦ポリシーの動的適応が可能となり、ユーザーリクエストの曖昧さが低減された。