[論文レビュー] Wizard of Wikipedia: Knowledge-Powered Conversational agents

Emily Dinan, Stephen Roller+4 more|arXiv (Cornell University)|Nov 3, 2018

Topic Modeling参考文献 22被引用数 479

ひとこと要約

この論文は、Wikipedia知識を用いてオープンドメイン対話を検索・読解・groundingするTransformer Memory Networkアーキテクチャを提案し、トレーニングと評価のための知識-grounded会話の大規模データセットを公開する。

ABSTRACT

In open-domain dialogue intelligent agents should exhibit the use of knowledge, however there are few convincing demonstrations of this to date. The most popular sequence to sequence models typically "generate and hope" generic utterances that can be memorized in the weights of the model when mapping from input utterance(s) to output, rather than employing recalled knowledge as context. Use of knowledge has so far proved difficult, in part because of the lack of a supervised learning benchmark task which exhibits knowledgeable open dialogue with clear grounding. To that end we collect and release a large dataset with conversations directly grounded with knowledge retrieved from Wikipedia. We then design architectures capable of retrieving knowledge, reading and conditioning on it, and finally generating natural responses. Our best performing dialogue models are able to conduct knowledgeable discussions on open-domain topics as evaluated by automatic metrics and human evaluations, while our new benchmark allows for measuring further improvements in this important research direction.

研究の動機と目的

• 大規模なテキストソースから知識を思い出し ground するオープンドメイン対話を動機づけ、研究する。
• Wikipediaにリンクした知識-grounded会話の大規模で公開可能なデータセットを作成する。
• retrievedされた知識を検索・読解・条件付けして、魅力的な応答を生成するアーキテクチャを開発する。
• 自動評価指標と人間の評価の両方を用いて、知識 grounding と engagingness を評価する。

提案手法

• 話題と対話履歴に基づき、Wikipedia から小さな候補知識パッセージを情報検索ステップで取得する。
• 知識文と対話文脈を Transformer エンコーダで符号化し、メモリ上で注意を向けて文脈認識表現を形成する。
• 知識を選択し応答を生成する retrieval-based と generative の対話モデル（Retrieval Transformer Memory Network および Generative Transformer Memory Network）を提供する。
• 二段階の変種では知識選択と応答生成の構成要素を分離する；エンドツーエンドの変種では知識と対話を共同で符号化して生成する。
• 知識選択が不完全な場合のロバスト性を高めるために知識ドロップアウトを適用する。
• 大規模コーパス（例：Reddit）でコンポーネントを事前学習し、任意でSQuAD様タスクでファインチューニングして検索/ grounding性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 知識-grounded対話モデルは、Wikipediaのパッセージを効果的に検索・ groundingして魅力的な応答を生成できるか？
• RQ2 検索ベースと生成型 Transformer Memory Network アーキテクチャは、知識 grounding と会話品質の面でどのように比較されるか？
• RQ3 明示的な知識の監督と知識ドロップアウトは grounding と生成にどのような影響を与えるか？
• RQ4 公開された大規模Wizard of Wikipediaデータセットは、知識-groundedオープンドメイン対話の改善をどの程度促進するか？
• RQ5 見 seen topics か unseen topics あるいは知識に関してモデルの性能はどのように異なるか？

主な発見

• 検索ベースのモデルは、ベースラインと比べて知識 grounding と engagingness を一貫して改善し、 memory-augmented transformer は人間評価で Recall@1 と Wiki F1 が高い。
• 知識に条件付けられた生成モデルは、金知識が利用可能な場合にベースライン（知識なし）を上回り、エンドツーエンドの変種は一部の指標で二段階の変種を上回ることがある。
• 知識監督と知識ドロップアウトは堅牢性と全体的な性能を向上させ、二段階モデルは強力な知識選択モジュールから利益を得る。
• 人間の評価では検索ベースのモデルが engagingness で高評価を得る一方、知識を用いた生成モデルは Wiki F1（Wikipedia との知識重複）で高い得点を示す。
• Wizard of Wikipedia データセット（22,311件の対話、201,999ターン）は、知識-grounded対話システムの強力な学習と評価を可能にする。