[論文レビュー] Gated End-to-End Memory Networks

Julien Pérez, Fei Liu|arXiv (Cornell University)|Oct 13, 2016

Topic Modeling参考文献 19被引用数 10

ひとこと要約

本論文では、記憶強化ニューラルネットワークにおける記憶アクセスを動的に制御する微分可能ゲーティング機構を導入する、Gated End-to-End Memory Networks (GMemN2N) という新しいアーキテクチャを提案する。外部の教師信号を追加せずに、モデルが何時・どのように記憶ホップをスキップすべきかをエンドツーエンドで学習可能であり、位置的推論や3項関係を含む困難な bAbI タスク、および DSTC-2 ダイアログベンチマークにおいて、最先端の性能を達成している。

ABSTRACT

Machine reading using differentiable reasoning models has recently shown remarkable progress. In this context, End-to-End trainable Memory Networks, MemN2N, have demonstrated promising performance on simple natural language based reasoning tasks such as factual reasoning and basic deduction. However, other tasks, namely multi-fact question-answering, positional reasoning or dialog related tasks, remain challenging particularly due to the necessity of more complex interactions between the memory and controller modules composing this family of models. In this paper, we introduce a novel end-to-end memory access regulation mechanism inspired by the current progress on the connection short-cutting principle in the field of computer vision. Concretely, we develop a Gated End-to-End trainable Memory Network architecture, GMemN2N. From the machine learning perspective, this new capability is learned in an end-to-end fashion without the use of any additional supervision signal which is, as far as our knowledge goes, the first of its kind. Our experiments show significant improvements on the most challenging tasks in the 20 bAbI dataset, without the use of any domain knowledge. Then, we show improvements on the dialog bAbI tasks including the real human-bot conversion-based Dialog State Tracking Challenge (DSTC-2) dataset. On these two datasets, our model sets the new state of the art.

研究の動機と目的

• 複数の事実を必要とする質疑応答、位置的推論、ダイアログ理解といった複雑な推論タスクにおける標準的な MemN2N の限界を克服すること。
• 外部の教師信号を必要とせず、記憶アクセスに対する動的で学習可能な制御を可能にする微分可能なゲーティング機構の開発。
• 困難な bAbI タスクおよび実世界のダイアログデータセット（DSTC-2 など）における推論性能の向上。
• モデルの注目分布およびゲーティング行動の分析を通じて、その推論ダイナミクスを理解すること。

提案手法

• MemN2N の記憶ホップ間の情報フローを調整する変換ゲート機構を導入する。
• ゲート値は、各ホップにおけるコントローラーの隠れ状態に微分可能な関数を適用することで計算され、エンドツーエンド学習が可能となる。
• 各ホップの出力をゲート値を用いて入力と組み合わせるリサイジングスタイルの接続を採用する。
• ゲート機構により、関連のない記憶ホップをスキップできるため、誤った注目によるノイズ蓄積を低減できる。
• 標準的な MemN2N の構造を維持しつつ、各ホップに学習可能なゲーティングを追加し、最終的な予測はゲーティング出力に対するソフトマックス層で行う。
• ゲーティング意思決定のための補助的教師信号を一切用いずに、標準的な誤差逆伝播法によるエンドツーエンド学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なゲーティング機構は、複雑なタスクにおけるエンドツーエンド記憶ネットワークの推論性能を向上させ得るか？
• RQ2 動的かつ記憶ホップのスキップが、マルチホップ推論およびダイアログタスクにおける一般化性能を向上させるか？
• RQ3 学習されたゲーティング機構は、注目分布および推論パス選択にどのように影響を与えるか？
• RQ4 外部知識やタスク固有の教師信号を一切使用せずに、最先端の結果を達成できるか？

主な発見

• GMemN2N は、外部ドメイン知識を一切使用せず、位置的推論や3項関係を含む最も困難な bAbI タスクにおいて、新たな最先端性能を達成した。
• DSTC-2 ダイアログベンチマークでは、新たな最先端性能を記録し、人間とボットの会話追跡タスクにおいて優れた性能を示した。
• t-SNE 視覚化により、正解が明確にクラスタを形成することが示され、モデルが関連する事実に注目していることが確認された。
• 注目パターンの分析から、GMemN2N は MemN2N が誤った情報を蓄積するのとは異なり、初期のノイズの多いホップに依存を減らすために低いゲート値を割り当てていることがわかった。
• bAbI タスク5における定性的分析では、GMemN2N はフットボールの贈り物の贈り手としてフレッドを正しく特定しているのに対し、MemN2N は注目がずれることでメアリーを誤って予測していた。
• 平均的な変換ゲート値の分析から、GMemN2N は関連のないホップを抑制する能力を学習しており、高いゲート値が最も関連の高いホップに集中していることがわかった。