[論文レビュー] Training Millions of Personalized Dialogue Agents

Pierre-Emmanuel Mazaré, Samuel Humeau+2 more|arXiv (Cornell University)|Sep 6, 2018

Topic Modeling参考文献 12被引用数 23

ひとこと要約

本論文では、Redditから抽出された500万のパーソナと7億件のパーソナベースの対話データから構成される大規模なデータセットを紹介し、ユーザープロフィールに条件付けられたエンドツーエンド対話エージェントの学習を可能にしている。著者らは、この大規模データセットを用いた学習が応答生成性能を向上させ、転移学習によりPersona-Chatベンチマークで最先端の結果を達成することを示している。

ABSTRACT

Current dialogue systems are not very engaging for users, especially when trained end-to-end without relying on proactive reengaging scripted strategies. Zhang et al. (2018) showed that the engagement level of end-to-end dialogue models increases when conditioning them on text personas providing some personalized back-story to the model. However, the dataset used in Zhang et al. (2018) is synthetic and of limited size as it contains around 1k different personas. In this paper we introduce a new dataset providing 5 million personas and 700 million persona-based dialogues. Our experiments show that, at this scale, training using personas still improves the performance of end-to-end systems. In addition, we show that other tasks benefit from the wide coverage of our dataset by fine-tuning our model on the data from Zhang et al. (2018) and achieving state-of-the-art results.

研究の動機と目的

• エンドツーエンド対話システムにおける関与の不足とパーソナライゼーションの欠如を解消するため、ユーザーパーソナを統合すること。
• 現存するパーソナデータセット（例：Persona-Chat）が約1,000パーソナしか含まないというデータ不足と合成的性質の課題を克服すること。
• 現実世界のReddit対話を活用して、大規模で多様性に富み、代表的なパーソナベースの対話データセットを構築すること。
• この大規模データセットを事前学習することで、下流のパーソナライズド対話タスクにおける性能向上を実証すること。
• 異なるパーソナ抽出戦略が対話生成品質およびモデルの一般化性能に与える影響を調査すること。

提案手法

• 17億件のRedditコメントを抽出し、言語的基準（4〜20語、'I'または'my'の含む、少なくとも1つの動詞と名詞／代名詞／形容動詞の存在）に基づいてユーザーパーソナを同定するヒューリスティクスを適用した。
• Persona-Chatデータセットで事前学習したbag-of-words分類器を用いて候補となるパーソナ文をフィルタリング・スコアリングし、単なるルールによる選択よりも品質を向上させた。
• 訓練例を (パーソナ, コンテキスト, 応答) の形式で構築した。ここでパーソナは、1人のユーザーの特徴を最大N文で記述するものである。
• LSTMおよびTransformerベースのモデルをRedditに基づくパーソナデータセットで学習し、512バッチサイズとAdamax最適化、FastText埋め込みを用いた。
• モデルの評価をRedditベースのタスクおよびPersona-Chatベンチマークの両方で実施し、ゼロショット推論と微調整を含めた。
• 転移学習を適用し、より小さなPersona-ChatデータセットでReddit事前学習済みモデルを微調整することで、一般化性能および性能向上を評価した。

実験結果

リサーチクエスチョン

• RQ1 多様で現実世界のパーソナベース対話データセットを大規模に事前学習することで、エンドツーエンド対話モデルの性能が向上するか？
• RQ2 パーソナ抽出手法の選択（ルール、分類器、ランダム選択）が、対話生成品質およびモデル一般化に与える影響はいかほどか？
• RQ3 大規模なRedditベースのデータセットで事前学習したモデルが、より小さなカスタマイズされたベンチマーク（例：Persona-Chat）にどの程度転送可能か？
• RQ4 ユーザーパーソナに条件付けたモデルは、オープンドメイン対話においてより一貫性があり、会話に参加しやすい応答を生成するか？
• RQ5 1ユーザーあたりのパーソナ文の数（パーソナサイズ）が、応答生成の正確性に与える影響はいかほどか？

主な発見

• 500万パーソナ、7億対話のデータセットで学習したモデルは、パーソナ条件付けなしのモデルと比較して、応答生成の正確性が顕著に向上した。
• Redditで事前学習したモデルをPersona-Chatデータセットで微調整したところ、hits@1が60.7%に上昇し、以前の最先端（35.4%）を大きく上回った。
• 1ユーザーあたりのパーソナ文最大数を20から100に増加させたことで、Redditテストセットにおけるhits@1は71.3%から74.4%に向上した。
• Persona-Chatデータで学習したパーソナ分類器は、Redditデータに適用した際に性能が低下したため、両データセット間にスタイルや分布の不一致があることが示唆された。
• 最も優れた性能を示したモデル（Transformer、100文のパーソナ、ルール＋分類器による選択）は、Redditテストセットで74.4%のhits@1を達成した。
• Redditで事前学習したモデルをPersona-Chatで微調整したことで、hits@1が18.6ポイント上昇し、強力な転送可能性と事前学習データの広範なカバー範囲を示した。