[論文レビュー] Disentangling Language and Knowledge in Task-Oriented Dialogs

Dinesh Raghu, Nikhil Gupta+1 more|arXiv (Cornell University)|May 3, 2018

Topic Modeling参考文献 21被引用数 4

ひとこと要約

本稿では、タスク指向対話システムにおける言語モデリングと知識グラウンドイングの分離を実現するBag-of-Sequences (BoSs)メモリを備えた、BoSsNetと呼ばれる新しいエンコーダデコーダアーキテクチャを提案する。対話履歴とKBタプルをバッグ化されたメモリ構造内でシーケンスとして符号化し、コピーオーバーレイド損失を導入することで、特に未知語（OOV）条件下でも最先端の性能を達成し、KBの変更に対しても高い耐性を示す。特にbAbI OOVテストセットでは10%以上の絶対的改善が見られ、高い安定性を発揮する。

ABSTRACT

The Knowledge Base (KB) used for real-world applications, such as booking a movie or restaurant reservation, keeps changing over time. End-to-end neural networks trained for these task-oriented dialogs are expected to be immune to any changes in the KB. However, existing approaches breakdown when asked to handle such changes. We propose an encoder-decoder architecture (BoSsNet) with a novel Bag-of-Sequences (BoSs) memory, which facilitates the disentangled learning of the response's language model and its knowledge incorporation. Consequently, the KB can be modified with new knowledge without a drop in interpretability. We find that BoSsNet outperforms state-of-the-art models, with considerable improvements (> 10\%) on bAbI OOV test sets and other human-human datasets. We also systematically modify existing datasets to measure disentanglement and show BoSsNet to be robust to KB modifications.

研究の動機と目的

• 知識ベース（KB）が時間経過とともに変更される（新規エンティティの追加や情報の更新など）状況下でも、タスク指向対話システムの性能を維持すること。
• 言語モデルと知識統合メカニズムを分離することで、再訓練なしに未学習のKBエンティティに対しても一般化できるようにすること。
• 動的KBを有する現実世界のデータセットやOOVテストセットにおいて、性能と耐性を向上させること。
• モデルのKB変更に対する耐性を測定するための体系的評価フレームワーク（知識適応性（KA））を構築すること。
• 分離学習が、より解釈可能で文法的に正しい、かつ情報豊富な対話応答を生成することを実証すること。

提案手法

• BoSsNetは二段階のメモリ表現を採用する：対話履歴とKBタプルを保存する平坦なシーケンスのバッグ（BoSs）であり、各発話やタプル内の順序的文脈を保持する。
• 各発話およびKBタプルは双方向GRU（Bi-GRU）によって符号化され、個々のトークンの文脈的理解を可能にするとともに、シーケンスレベルの構造を維持する。
• エンコーダは、対話およびKBの関連部分に注目するために、メモリセルの表現のみを用いる。これにより、知識ベース上の効果的な推論が可能になる。
• デコーダは、コピーオーバーレイドシーケンス・トゥ・シーケンスアーキテクチャを用いて、逐次的に単語を生成する。新たに提案された損失関数により、言語モデルから生成するのではなく、KBトークンをコピーよりも優先させる。
• 言語モデルと知識コンponentの分離を強化するために、KBトークンの非コピーセット生成をペナルティ化する追加の損失項を導入する。
• 訓練中にラベルドロップアウトを適用することで、言語モデルと知識インターフェースの分離をさらに強化し、未学習エンティティへの一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 訓練時に見られなかった完全に新しいエンティティを含む知識ベースを有するタスク指向対話システムでも、高い性能を維持できるか？
• RQ2 言語モデルと知識グラウンドイングメカニズムを分離することで、KBの変更に対してより高い耐性が得られるか？
• RQ3 提案されたBoSsメモリ構造は、文脈情報を効果的に保持しつつ、未学習のKBエンティティのコピーや抽出を可能にするか？
• RQ4 分離正則化を施したコピーオーバーレイド損失を用いることで、標準的なシーケンス・トゥ・シーケンスモデルと比較して、OOVベンチマークにおける一般化性能がどのように向上するか？
• RQ5 人間による評価において、BoSsNetが生成する応答は、既存のベースライン（Seq2Seq, Mem2Seq, Seq2Seq+Copy）と比較して、より文法的に正しいかつ情報量が多いと評価されるか？

主な発見

• bAbI OOVテストセットにおいて、最先端モデルと比較して10.2%の絶対的改善を達成し、未学習エンティティへの一般化能力が顕著に優れている。
• CamRestデータセットでは、テスト時に100%のKBエンティティが未学習であった場合でも、BoSsNetは高い性能を維持し、知識適応性（KA）評価においてベースラインを上回った。
• 人間評価では、BoSsNetの応答がSeq2Seq, Mem2Seq, Seq2Seq+Copyと比較して、より情報量が多く、わずかに文法的にも正しいと評価された。
• KB変更の度合いが0%から100%に変化する中で、モデルは全範囲で安定した性能を示し、未学習エンティティの割合が増加しても性能低下が最小限に抑えられた。
• 知識適応性（KA）評価プロトコルの導入により、BoSsNetが既存モデルと比較してはるかにKB変更に強いことが明らかになった。
• CamRestやStanford Multi-Domainを含む複数の現実世界データセットにおいて、モデルの性能は安定的かつ一貫しており、一般化能力の高さが確認された。