[論文レビュー] End-To-End Memory Networks

Sainbayar Sukhbaatar, Arthur Szlam+2 more|arXiv (Cornell University)|Mar 31, 2015

Topic Modeling参考文献 25被引用数 689

ひとこと要約

この論文では、サポート事実の教師なしでエンドツーエンド学習が可能な、外部メモリ上の再帰的注意機構を備えた微分可能なニューラルネットワーク、エンドツーエンドメモリネットワークを紹介する。モデルは複数のメモリホップを用いて、質問応答および言語モデリングのパフォーマンスを向上させ、LSTM よりも少ないパラメータで競争力ある結果を達成し、Penn Treebank や Text8 といったベンチマークデータセットで RNN よりも優れた性能を示している。

ABSTRACT

We introduce a neural network with a recurrent attention model over a possibly large external memory. The architecture is a form of Memory Network (Weston et al., 2015) but unlike the model in that work, it is trained end-to-end, and hence requires significantly less supervision during training, making it more generally applicable in realistic settings. It can also be seen as an extension of RNNsearch to the case where multiple computational steps (hops) are performed per output symbol. The flexibility of the model allows us to apply it to tasks as diverse as (synthetic) question answering and to language modeling. For the former our approach is competitive with Memory Networks, but with less supervision. For the latter, on the Penn TreeBank and Text8 datasets our approach demonstrates comparable performance to RNNs and LSTMs. In both cases we show that the key concept of multiple computational hops yields improved results.

研究の動機と目的

• 推論タスクに適した外部メモリ上での複数の計算ホップをサポートするニューラルネットワークアーキテクチャの開発。
• 中間のサポート事実に対する教師信号を必要とせず、メモリネットワークのエンドツーエンド学習を可能にし、実世界のタスクへの適用可能性を高めること。
• メモリ上の複数の注目ホップを活用することで、質問応答および言語モデリングのパフォーマンスを向上させること。
• 複数のホップとメモリ表現の共同最適化が、モデルの一般化およびパフォーマンスを顕著に向上させることの証明。
• 最小限のアーキテクチャ的変更で、大規模語彙言語モデリングタスクに効果的にスケーリング可能であることを示すこと。

提案手法

• モデルは埋め込み行列 A を用いて入力系列を連続的メモリベクトルとして保存し、クエリも行列 B を用いて同様に埋め込む。
• 注目重みは、クエリ埋め込みと各メモリベクトルのドット積に基づくソフトマックスによって計算され、メモリ位置上の確率分布を生成する。
• 出力は、注目確率を重みとして用いた出力ベクトル c_i の重み付き和であり、微分可能なメモリリード操作を可能にする。
• 複数ホップは、各ホップの出力を用いてクエリ表現を再帰的に更新することで実装され、リサルト接続（u^{k+1} = u^k + o^k）が用いられる。
• パラメータの削減と学習安定性の向上のため、隣接およびレイヤー内での重みの共有戦略が適用される。
• 最終的な予測は、最終的なクエリ-出力結合に重み行列 W を適用し、交差エントロピー損失を用いて学習されるソフトマックスによって生成される。

実験結果

リサーチクエスチョン

• RQ1 中間の推論ステップに対する教師信号なしで、メモリネットワークをエンドツーエンド学習可能か？
• RQ2 メモリホップの数が、質問応答および言語モデリングのパフォーマンスにどのように影響するか？
• RQ3 微分可能なメモリ機構は、標準の RNN や LSTM よりも言語モデリングベンチマークで優れた性能を示せるか？
• RQ4 複数ホップの使用により、順序付きタスクにおける長期依存性および文脈のモデリングが向上するか？
• RQ5 重みの共有およびパrameter共有は、モデルの一般化およびスケーラビリティにどのように影響するか？

主な発見

• Penn Treebank データセットでは、パーセプレキシティが 111 に達し、RNN/SCRN（115）を上回り、同等の RNN よりも 1.5 倍少ないパラメータで LSTMs に近い性能を達成した。
• Text8 データセットでは、パーセプレキシティが 147 に達し、LSTM（154）を上回ったが、標準 RNN の 1.5 倍のパラメータ数にとどまった。
• メモリホップの数を増やすことでパフォーマンスが一貫して向上し、モデルにおけるマルチホップ推論の重要性が示された。
• 注目重みの可視化により、異なるホップが特化していることが明らかになった—一部は最近の語に注目し、他は広範囲のメモリに注目—これにより補完的な役割が果たされていることが示された。
• RNN とは異なり、メモリは指数的減衰を示さない。代わりに、メモリ位置全体にわたって一貫した活性化が維持され、これがパフォーマンス向上の要因である可能性がある。
• 勾配クリッピングに L2 ノルムのしきい値 50 を用いることが、特に複数ホップを持つ深層モデルにおいて安定した学習に不可欠であった。