[論文レビュー] Evaluating Prerequisite Qualities for Learning End-to-End Dialog Systems

Jesse Dodge, Andreea Gane+6 more|arXiv (Cornell University)|Nov 21, 2015

Topic Modeling参考文献 28被引用数 61

ひとこと要約

本稿では、映画ドメインにおけるエンドツーエンド対話システムの評価を目的とした大規模でマルチタスクのベンチマークを紹介する。質問応答（QA）、推薦、QA＋推薦、および雑談（chit-chat）のタスクを含む。メモリネットワーク（Memory Networks）は、すべてのタスクで優れた性能を発揮し、ベースラインを上回り、Ubuntu Dialog Corpusに対しても良好な一般化性能を示しており、統一されたフレームワーク内で多様な対話スキルを処理する能力を裏付けている。

ABSTRACT

A long-term goal of machine learning is to build intelligent conversational agents. One recent popular approach is to train end-to-end models on a large amount of real dialog transcripts between humans (Sordoni et al., 2015; Vinyals & Le, 2015; Shang et al., 2015). However, this approach leaves many questions unanswered as an understanding of the precise successes and shortcomings of each model is hard to assess. A contrasting recent proposal are the bAbI tasks (Weston et al., 2015b) which are synthetic data that measure the ability of learning machines at various reasoning tasks over toy language. Unfortunately, those tests are very small and hence may encourage methods that do not scale. In this work, we propose a suite of new tasks of a much larger scale that attempt to bridge the gap between the two regimes. Choosing the domain of movies, we provide tasks that test the ability of models to answer factual questions (utilizing OMDB), provide personalization (utilizing MovieLens), carry short conversations about the two, and finally to perform on natural dialogs from Reddit. We provide a dataset covering 75k movie entities and with 3.5M training examples. We present results of various models on these tasks, and evaluate their performance.

研究の動機と目的

• エンドツーエンド対話システムの標準化された、目的志向の評価が不足している現状（自動指標や人間による評価に依存）を是正すること。
• bAbIのような小規模な合成タスクと現実世界の対話データの間のギャップを埋めるために、大規模で現実的かつ明確に定義されたタスクを構築すること。
• 1つのエンドツーエンドモデルが、事実基盤のQA、パーソナライズド推薦、混合対話、雑談といった複数の対話スキルを、タスク固有の設計なしに同時に習得できるかを評価すること。
• 別個の関係のない対話コーパス（Ubuntu Dialog Corpus）でテストすることで、モデルの一般化能力を検証すること。

提案手法

• 約75,000の映画エンティティと約350万件の学習例を含むマルチタスクデータセットを構築。4つの異なる対話タスク（QA、推薦、QA＋推薦、雑談）をカバー。
• 実世界の知識ソースを活用：事実ベースQAにはOMDb、パーソナライズド推薦にはMovieLens、自然な対話にはRedditを使用。
• すべてのタスクで、教師あり埋め込みモデル、LSTM、およびメモリネットワーク（MemN2N）を含む多様なニューラルアーキテクチャを学習・評価。
• 最良のパフォーマンスを示したモデル（MemN2N）をUbuntu Dialog Corpusに適用し、クロスドメインでの検証を実施。検索ベースの評価を用い、Hits@1を指標とする。
• タスク間で統一されたアーキテクチャ（MemN2N）を用いて、ゼロショット一般化とマルチタスク学習の能力を評価。
• 人間を介さない自動指標（例：Hits@1）を用いてモデルを評価することで、スケーラビリティと再現可能性を確保。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の設計なしに、1つのエンドツーエンドモデルが、事実基盤のQA、パーソナライズド推薦、混合対話、雑談といった多様な対話タスクを良好に処理できるか？
• RQ2 統一されたフレームワーク内での複数の対話スキルにおいて、LSTM やメモリネットワークなどの異なるニューラルアーキテクチャの性能はどのように比較されるか？
• RQ3 4つのタスクすべてでマルチタスク学習を行うと、個別タスクでの学習と比較して性能が向上するか、悪化するか？
• RQ4 映画ドメインで学習したモデルが、技術的サポート対話（Ubuntu Corpus）のような異なるドメインに一般化できるか？
• RQ5 メモリネットワークは、標準的なRNN やLSTM と比較して、多様な対話タスクにおいて長期間および短期間の文脈をどれほど効果的に維持できるか？

主な発見

• メモリネットワークは、4つのタスクすべてで優れたパフォーマンスを発揮し、標準的なベースラインを上回り、タスクの多様性に対しても頑健であることが示された。
• Ubuntu Dialog Corpusにおいて、3ホップのメモリを持つMemN2Nは、テストセットで64.31%のHits@1を達成し、報告済みの最良のベースラインを8%以上上回った。
• 2ホップおよび3ホップのMemN2Nモデルは1ホップバージョンを上回り、3ホップでパフォーマンスがピークに達し、4ホップではわずかに低下した。
• 最大2000次元の大きな単語埋め込みを使用しても、標準的なRNN やLSTM モデルは、長期間および短期間の記憶を注意機構で活用するメモリネットワークに劣った。
• 4つのタスクすべてでマルチタスク学習を行うと、パフォーマンスが低下する傾向にあり、この設定では共同学習がまだ最適ではないことが示唆された。
• 最も優れたパフォーマンスを示したモデル（MemN2N）は、異なるドメイン（Ubuntu）に対しても良好に一般化でき、汎用対話アーキテクチャとしての可能性を裏付けた。