[論文レビュー] The Ubuntu Dialogue Corpus: A Large Dataset for Research in Unstructured Multi-Turn Dialogue Systems

Ryan Lowe, Nissan Pow+2 more|arXiv (Cornell University)|Jun 29, 2015

Speech and dialogue systems被引用数 5

ひとこと要約

本論文は、2004年から2015年までの公開Ubuntu IRCチャットログから抽出・分離された、約100万件の多段階対話からなる大規模なデータセット、Ubuntu Dialogue Corpusを紹介する。このデータセットには710万件の発話と1億語以上の単語が含まれており、ニューラルネットワークを用いた非構造的で多段階の対話システムの研究を可能にする。ベンチマーク結果では、LSTMモデルがTF-IDF やRNNといった単純な手法を上回ることが示された。

ABSTRACT

This paper introduces the Ubuntu Dialogue Corpus, a dataset containing almost 1 million multi-turn dialogues, with a total of over 7 million utterances and 100 million words. This provides a unique resource for research into building dialogue managers based on neural language models that can make use of large amounts of unlabeled data. The dataset has both the multi-turn property of conversations in the Dialog State Tracking Challenge datasets, and the unstructured nature of interactions from microblog services such as Twitter. We also describe two neural learning architectures suitable for analyzing this dataset, and provide benchmark performance on the task of selecting the best next response.

研究の動機と目的

• ニューラル対話エージェントの学習に適した大規模で非構造的かつ多段階の対話データセットが不足しているという問題に対処すること。
• 大量のラベルなしデータを用いたエンドツーエンドの対話システムの研究を可能にすること。
• オープンドメインで多段階の会話における応答選択のベンチマークを提供すること。
• 多様な対話文脈に一般化可能なニューラルアーキテクチャの開発を支援すること。

提案手法

• データセットは、2004年から2015年までの公開Ubuntu IRCチャットログから、多段階対話を抽出・分離することで構築された。
• 3段階以上かつ少なくとも2名の参加者がいる会話を対象とした。
• ルールベースの分離手法を用いて、複数参加者のチャットログから個々の二面対話に分離した。
• 3つのモデルを評価した：TF-IDF、RNN、LSTM。いずれも全コーパスを用いて応答選択タスクの学習を行った。
• 応答選択タスクは、正解応答1つに対してコーパスからランダムに抽出した9つの誤り応答を含む10分類問題として定式化された。
• 評価にはRecall@kと正答率を用い、データセットサイズと難易度に関するアブレーションスタディも実施した。

実験結果

リサーチクエスチョン

• RQ1 大規模で非構造的かつ多段階の対話データは、ニューラル応答選択モデルの性能向上に寄与するか？
• RQ2 TF-IDF、RNN、LSTMといった異なるニューラルアーキテクチャは、オープンドメインの会話において最も適切な次応答を選択する際に、どのように比較されるか？
• RQ3 学習データセットのサイズを増加させることで、応答選択タスクの性能が向上するか？
• RQ4 明示的な人間のアノテーションなしで、このコーパスで学習したモデルは多様な対話文脈に一般化できるか？
• RQ5 誤り応答を正解に近い意味的類似性を持つようにした場合、応答選択タスクの難易度がモデルの性能に与える影響は何か？

主な発見

• Ubuntu Dialogue Corpusには997,909件の多段階対話、710万件の発話、1億語以上の単語が含まれており、利用可能な最大規模のオープンドメイン対話データセットの一つである。
• LSTMモデルが応答選択タスクで最高の性能を示し、RNNおよびTF-IDFベースラインを顕著に上回った。
• LSTMモデルのRecall@1は、訓練データサイズの増加に伴い向上し、ラベルなし対話データに対する大規模事前学習の利点を示した。
• TF-IDFとニューラルモデルの性能差は、会話文脈を捉えるための系列モデリングの重要性を強調している。
• ランダムなネガティブサンプリングでさえ、ニューラルモデルが大規模な非構造的対話から意味的な応答表現を学習できることを示した。
• 著者らは、現在のモデルが高品質な応答を生成できるとは限らないものの、応答選択は評価可能で実用的な中間ベンチマークであると指摘している。