[論文レビュー] Towards Exploiting Background Knowledge for Building Conversation Systems

Nikita Moghe, Siddhartha Arora+2 more|arXiv (Cornell University)|Sep 21, 2018

Topic Modeling参考文献 34被引用数 11

ひとこと要約

本論文は、9,000件の映画会話からなる90,000件の発話を持つ、背景知識に配慮した新しい対話データセットを紹介する。応答は、物語、レビュー、コメントなどの非構造化知識に明示的に根拠を置いている。純粋生成、コピーオプティマイズド生成、スパン予測の3種類のモデルタイプを提案・評価し、背景知識を利用したモデルが、それを無視するモデルよりも一貫性があり文脈的に適切な応答を生成することを示した。

ABSTRACT

Existing dialog datasets contain a sequence of utterances and responses without any explicit background knowledge associated with them. This has resulted in the development of models which treat conversation as a sequence-to-sequence generation task i.e, given a sequence of utterances generate the response sequence). This is not only an overly simplistic view of conversation but it is also emphatically different from the way humans converse by heavily relying on their background knowledge about the topic (as opposed to simply relying on the previous sequence of utterances). For example, it is common for humans to (involuntarily) produce utterances which are copied or suitably modified from background articles they have read about the topic. To facilitate the development of such natural conversation models which mimic the human process of conversing, we create a new dataset containing movie chats wherein each response is explicitly generated by copying and/or modifying sentences from unstructured background knowledge such as plots, comments and reviews about the movie. We establish baseline results on this dataset (90K utterances from 9K conversations) using three different models: (i) pure generation based models which ignore the background knowledge (ii) generation based models which learn to copy information from the background knowledge when required and (iii) span prediction based models which predict the appropriate response span in the background knowledge.

研究の動機と目的

• 既存の対話データセットに明示的な背景知識が欠けていることによる課題に対処し、モデルが人間の会話行動を模倣できることを促進する。
• 映画の物語、レビュー、コメントなどの非構造化背景知識に根拠を置いた応答を持つ新しいデータセットを構築する。
• 背景知識を活用するための異なるモデリングアプローチの有効性を評価し、より一貫性があり文脈的に適切な対話生成を実現する。
• 背景知識を統合するモデルが、単に発話履歴に依存するモデルを上回ることを実証する。

提案手法

• アマゾン・メカニカル・トゥーカーを用いて、9,000件の映画会話をクラウドソーシングし、作業者が背景リソースからの文のコピーまたは変更によって応答を生成する。
• 映画の物語、レビュー、コメント、事実テーブル、およびなし（ベースライン用）の背景知識を収集する。
• 各発話に対して、応答の生成に使われた背景リソース内の正確なスパンをアノテートする。
• 3種類のモデルタイプを訓練・評価する：(1) 純粋なシーケンス・ツー・シーケンス生成、(2) 背景からのコピーメカニズムを備えた生成、(3) 関連するスパンを直接予測するスパン予測モデル。
• 性能の上限を示すために、オラクルベースのモデル（GTTP）を用い、語の重複と混合長/短いバージョンの両方を含む。
• BiDAFおよびHREDをベースラインモデルとして用い、知識に基づくアプローチとの性能比較を実施。

実験結果

リサーチクエスチョン

• RQ1 明示的に背景知識を利用したモデルは、それを無視するモデルよりも一貫性があり文脈的に適切な応答を生成できるか？
• RQ2 スパン予測モデルは、対話のターンに最も適切な知識スパンを特定するのにどの程度有効か？
• RQ3 発話履歴のみに依存する場合と比較して、非構造化背景知識を統合することは、応答品質をどの程度向上させるか？
• RQ4 複雑な推論タスク（例：登場人物のバックグラウンド）を処理する際、異なるモデリングアーキテクチャ（例：コピーオプティマイズド対スパン予測）はどのように比較されるか？

主な発見

• 正確なスパン一致を用いるGTTP（オラクル）モデルが最高のパフォーマンスを達成し、対話における知識の根拠付けの可能性を示した。
• スパン予測モデル（GTTP）は、HREDおよびBiDAFベースのモデルを上回り、特に複雑な推論タスクにおいて文脈的に適切な応答を生成した。
• コピーオプティマイズド生成モデルは、背景知識が関連する場合、純粋生成モデルよりも応答の一貫性を向上させた。
• 純粋生成モデル（例：HRED）は、文脈的に妥当に思える場合でさえ、しばしば一貫性のないまたは話題外れの応答を生成し、シーケンスのみに依存する学習の限界を示した。
• 語の重複に依存するモデル（例：BiDAF）は、登場人物のバックグラウンドなど、表面的な一致を超えた推論を必要とする複雑なクエリに対しては苦労した。
• 本データセットはHoll-Eと命名され、921本の映画、90,000件の発話、完全なアノテーションを含み、将来的な知識に基づく対話研究を可能にした。