[論文レビュー] Hierarchical Pointer Memory Network for Task Oriented Dialogue

Dinesh Raghu, Nikhil Gupta|arXiv (Cornell University)|May 3, 2018

Topic Modeling被引用数 8

ひとこと要約

本稿では、タスク指向対話における応答生成と知識ベース（KB）の更新を分離するBag-of-Sequences（BoSs）メモリを備えた階層的ポインタメモリネットワーク、BoSsNetを提案する。言語と知識の学習を分離することで、KBの変更に対しても性能を維持でき、bAbI OOVベンチマークでは最先端モデルを10%以上上回り、KBの変更に対しても頑健であることを示した。

ABSTRACT

The Knowledge Base (KB) used for real-world applications, such as booking a movie or restaurant reservation, keeps changing over time. End-to-end neural networks trained for these task-oriented dialogs are expected to be immune to any changes in the KB. However, existing approaches breakdown when asked to handle such changes. We propose an encoder-decoder architecture (BoSsNet) with a novel Bag-of-Sequences (BoSs) memory, which facilitates the disentangled learning of the response's language model and its knowledge incorporation. Consequently, the KB can be modified with new knowledge without a drop in interpretability. We find that BoSsNet outperforms state-of-the-art models, with considerable improvements (> 10\%) on bAbI OOV test sets and other human-human datasets. We also systematically modify existing datasets to measure disentanglement and show BoSsNet to be robust to KB modifications.

研究の動機と目的

• 知識ベース（KB）の変更に伴い、エンドツーエンドニューラルモデルの脆さが生じるタスク指向対話における課題を解決すること。
• 従来のアプローチがこのような変更に失敗するのとは異なり、KBの更新に対しても解釈可能性と性能を維持できるモデルの開発。
• 応答の言語モデリングと知識の統合の学習を分離することで、新しいKBエントリへのモジュラーかつ頑健な適合を可能にすること。
• KBの進化を模擬するため、既存のデータセットを系統的に変更することで、モデルの頑健性を体系的に評価すること。

提案手法

• 新しいBag-of-Sequences（BoSs）メモリを備えたエンコーダデコーダアーキテクチャであるBoSsNetを提案し、知識を分離された形で格納・取得する。
• KBの事実のシーケンスにわたる階層的ポインタ機構を用いて、選択的かつ文脈に適した知識の取得を可能にする。
• 応答生成プロセスとは独立して、関連するKBコンテンツの固定サイズ表現を維持するメモリモジュールを採用する。
• 言語モデリングと知識の根拠付けを分離する訓練目的を導入し、一般化性能を向上させる。
• 応答ジェネレータの微調整なしにKBの更新が可能であり、モデルの解釈可能性と性能を維持する。
• BoSsメモリに対するアテンションを備えたポインタジェネレータネットワークを用いて、文脈と取得した事実に基づいた応答を生成する。

実験結果

リサーチクエスチョン

• RQ1 知識ベースに新しいエントリが追加された場合、タスク指向対話モデルは性能を維持できるか？
• RQ2 言語生成と知識の根拠付けをどの程度分離でき、KBの変更に対する頑健な適合を可能にするか？
• RQ3 従来のアーキテクチャと比較して、提案されたBoSsメモリはOOVテストセットにおける一般化性能をどの程度向上させるか？
• RQ4 ベンチマークデータセットのKBコンテンツを系統的に変更した場合、モデルの性能はどの程度低下するか、または安定を保つか？

主な発見

• BoSsNetは、最先端モデルと比較してbAbI OOVテストセットで10%以上の性能向上を達成した。
• KBに新しい事実が追加されても高い性能を維持し、知識ベースの進化に対する頑健性を示した。
• 既存のデータセットに対する系統的な変更から、BoSsNetはベースラインモデルよりも顕著にKBの変更に対して頑健であることが明らかになった。
• 分離された学習メカニズムにより、応答ジェネレータの再トレーニングなしにKBへの解釈可能でモジュラーな更新が可能となった。
• 人間同士の対話データセットでも、モデルの性能は一貫して優れており、多様な設定への強い一般化能力を示した。
• BoSsメモリ機構は関連するKBコンテンツを効果的に捉え、取得することで、応答の関連性と正確性が向上した。