[論文レビュー] Dialog state tracking, a machine reading approach using Memory Network

Julien Pérez, Fei Liu|arXiv (Cornell University)|Jun 13, 2016

Speech and dialogue systems参考文献 31被引用数 14

ひとこと要約

本稿では、MemN2N（メモリ拡張型ニューラルネットワーク）を用いて対話状態追跡を機械的読解タスクとして定式化することで、新規な対話状態追跡アプローチを提案する。DSTC-2で74%の共同正解率を達成し、数え上げやyes-no質問といった推論タスクを含むベンチマークを拡張することで、標準的なスロット入力を超えた近似的な推論能力を示している。

ABSTRACT

In an end-to-end dialog system, the aim of dialog state tracking is to accurately estimate a compact representation of the current dialog status from a sequence of noisy observations produced by the speech recognition and the natural language understanding modules. This paper introduces a novel method of dialog state tracking based on the general paradigm of machine reading and proposes to solve it using an End-to-End Memory Network, MemN2N, a memory-enhanced neural network architecture. We evaluate the proposed approach on the second Dialog State Tracking Challenge (DSTC-2) dataset. The corpus has been converted for the occasion in order to frame the hidden state variable inference as a question-answering task based on a sequence of utterances extracted from a dialog. We show that the proposed tracker gives encouraging results. Then, we propose to extend the DSTC-2 dataset with specific reasoning capabilities requirement like counting, list maintenance, yes-no question answering and indefinite knowledge management. Finally, we present encouraging results using our proposed MemN2N based tracking model.

研究の動機と目的

• 固定された発話ウィンドウに依存し、スロット間の相関をモデル化できない既存の対話状態トラッカーの限界を是正すること。
• 対話状態追跡を機械的読解問題として再定式化し、発話レベルでの関連対話履歴への注目を可能にすること。
• 数え上げ、リスト管理、yes-no質問、不定知識の管理といった推論能力を備えたDSTC-2データセットを拡張すること。
• MemN2Nが標準的なスロット入力と複雑な推論タスクの両方を効果的に処理できるかを評価すること。
• メモリ拡張型ネットワークが、最小限のアノテーションオーバーヘッドでスケーラブルで推論強化型の対話状態追跡を可能にできることを示すこと。

提案手法

• 対話状態追跡タスクを、各スロットが対話履歴に対する質問として定式化する。
• MemN2Nアーキテクチャを用いて対話履歴を処理し、複数のホップで関連する発話を注目してスロット値を推論する。
• 各発話をベクトル空間に埋め込み、メモリブロックが過去の対話ターンの表現を保存し、注目に基づく推論を実現する。
• 注目重みを各ホップで計算することで、反復的に関連する対話部分への注目を精錬する多ホップ注目メカニズムを採用する。
• すべての重みにXavier初期化を適用し、L2正則化を用いた勾配降下法でエンドツーエンドに学習する。
• 標準的なDSTC-2スロット入力と、yes-no質問、数え上げ、リスト管理、不定知識を含む拡張された推論タスクの両方でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 メモリ拡張型ニューラルネットワークを用いて、対話状態追跡を機械的読解タスクとして効果的に再定式化できるか？
• RQ2 MemN2Nアーキテクチャは、複雑な推論を処理しながらも、標準的な判別型モデルを上回る性能を示せるか？
• RQ3 提案されたフレームワークは、スロット入力を超えて、数え上げやリスト管理といった推論を対話文脈内でサポートできるか？
• RQ4 発話レベルのアノテーションではなく、対話レベルのアノテーションで学習した場合、モデルの性能はどのようになるか？
• RQ5 推論タスクを備えた拡張DSTC-2データセットは、推論対応型対話状態トラッカーの評価ベンチマークとして機能できるか？

主な発見

• MemN2Nモデルは、標準的なDSTC-2テストセットで74%の共同正解率を達成し、ベースラインのRNNおよびNBTモデルを上回った。
• 推論タスクでは、40次元の埋め込みを用いた場合、yes-no質問で96%の正解率、Areaスロットのリスト管理で75%の正解率を達成した。
• 数え上げタスクでは、40次元の埋め込みを用いた場合、PriceRangeスロットで80%の正解率を達成した。
• 不定知識（I.K.）では、Foodで89%、Areaで90%の正解率を示し、「dontcare」や類似概念の処理が堅牢であることが示された。
• 特にスロット間の複雑な依存関係を処理する際、非メモリ拡張型モデルに比べて一般化性能が向上した。
• 結果から、メモリ拡張型ネットワークは推論を伴う対話状態追跡に適しており、ルールベースや手作業で設計されたシステムに代わるスケーラブルな代替手段であることが示唆された。