[論文レビュー] Talking to myself: self-dialogues as data for conversational agents

Joachim Fainberg, Ben Krause+6 more|arXiv (Cornell University)|Sep 18, 2018

Speech and dialogue systems参考文献 7被引用数 13

ひとこと要約

本論文は、アマゾン・メカニカル・トゥークを介して単一のクラウドワーカーによって作成された架空の二面的会話（自己対話）を、トピックに特化した非構造的会話データを収集するコスト効率の高い手法として提案している。著者らは23のトピックにわたり360万語のコーパスを収集し、定性的分析を通じて自己対話は標準的な二面的会話やOpenSubtitlesデータに比べ、より一貫性があり魅力的な応答を生み出すことを示した。これは、オープンドメイン会話エージェントの訓練に極めて適している。

ABSTRACT

Conversational agents are gaining popularity with the increasing ubiquity of smart devices. However, training agents in a data driven manner is challenging due to a lack of suitable corpora. This paper presents a novel method for gathering topical, unstructured conversational data in an efficient way: self-dialogues through crowd-sourcing. Alongside this paper, we include a corpus of 3.6 million words across 23 topics. We argue the utility of the corpus by comparing self-dialogues with standard two-party conversations as well as data from other corpora.

研究の動機と目的

• オープンドメイン会話エージェントの訓練に適した大規模でトピックに特化した非構造的会話コーパスの不足を解消すること。
• 二面的会話を単一のクラウドワーカーによる自己対話に置き換えることで、データ収集コストと複雑さを低減すること。
• 既存のコーパスと比較して、自己対話が会話エージェントの訓練に適しているか、その品質と適合性を評価すること。
• 研究およびモデル訓練のために公開可能な、多様でトピック特化型の会話コーパスを提供すること。

提案手法

• アマゾン・メカニカル・トゥークを介してクラウドソーシングされた自己対話を収集し、ワーカーが指定されたトピックについて二名の発話者を模倣する。
• 1回の会話で20のテキストボックスを埋めることで、対話形式を模倣し、自然さを促進するための制約は最小限に抑える。
• ボトムアップのフィルタリングには、bag-of-words表現間のコサイン類似度と悪意ある語彙リストを用い、低品質または攻撃的発言を除外する。
• 最終的なコーパスは23のトピックにわたり360万語で構成され、23,000件以上の会話のうち0.6％（145件）が除外された。
• 自己対話コーパス上でシンプルな検索ベースのボットを訓練し、OpenSubtitlesと比較して定型クエリを用いて評価する。
• 定性的評価では、両方のコーパスにおける一般およびトピック特化型クエリに対する応答の関連性と関与度を比較する。

実験結果

リサーチクエスチョン

• RQ1 単一のクラウドワーカーが生成する自己対話は、二面的会話のデータと同等に一貫性があり魅力的な応答を生み出せるか？
• RQ2 オープンドメイン会話エージェントの応答品質という観点から、自己対話法はOpenSubtitlesなどの既存コーパスと比べてどうか？
• RQ3 自己対話コーパスは、トピック特化型のオープンドメイン対話の訓練にどの程度有効か？
• RQ4 自己対話法は、データ品質を維持したまま、データ収集コストを著しく低減できるか？

主な発見

• 自己対話法により、1回の会話につき1名のワーカーに報酬を支払うため、二面的会話と比較してデータ収集コストを50％削減できた。
• 特にトピック特化型クエリにおいて、自己対話はOpenSubtitlesデータよりも一貫性があり、より魅力的な応答を生み出した。
• コーパスは23のトピックにわたり360万語で構成され、重複や言語の不備のため0.6％の提出物が除外された。
• 定性的分析の結果、自己対話コーパスからの応答は文脈的により関連性が高く、オープンドメインのヒューマン・ボット対話に適していた。
• 自己対話コーパス上で訓練された検索ベースのボットは、一般およびトピック特化型クエリの両方において、OpenSubtitlesで訓練されたボットよりも応答の関連性と関与度が優れていた。
• コーパスはgithub.com/jfainberg/self_dialogue_corpusにて公開されており、今後の会話AI分野の研究を支援する。