[論文レビュー] Lie Access Neural Turing Machine

Greg Yang|arXiv (Cornell University)|Feb 28, 2016

Neural Networks and Applications参考文献 27被引用数 14

ひとこと要約

本稿では、連続的なユークリッドキー空間 ℝⁿ 上でのリー群作用を用いたメモリアクセスを可能にする、新しい外部メモリ機構であるLieアクセスニューラルチューリングマシン（LANTM）を提案する。従来のチューリングマシンの操作を一般化し、ランダムアクセスと滑らかで構造的なナビゲーションの両方を可能にする。InvNorm重みスキームを用いたLANTMは、LSTMベースラインと比較して著しく優れており、2桁から16桁の加算タスクにのみ訓練されたにもかかわらず、17〜32桁の加算タスクにおいてほぼ完全に一般化した。パrameter数はLSTMベースラインの100分の1未満で達成された。

ABSTRACT

Following the recent trend in explicit neural memory structures, we present a new design of an external memory, wherein memories are stored in an Euclidean key space $\mathbb R^n$. An LSTM controller performs read and write via specialized read and write heads. It can move a head by either providing a new address in the key space (aka random access) or moving from its previous position via a Lie group action (aka Lie access). In this way, the "L" and "R" instructions of a traditional Turing Machine are generalized to arbitrary elements of a fixed Lie group action. For this reason, we name this new model the Lie Access Neural Turing Machine, or LANTM. We tested two different configurations of LANTM against an LSTM baseline in several basic experiments. We found the right configuration of LANTM to outperform the baseline in all of our experiments. In particular, we trained LANTM on addition of $k$-digit numbers for $2 \le k \le 16$, but it was able to generalize almost perfectly to $17 \le k \le 32$, all with the number of parameters 2 orders of magnitude below the LSTM baseline.

研究の動機と目的

• 標準RNNが長期記憶を維持する能力に欠ける問題に対処するため、連続的かつ構造的なアクセスを可能にする新しい外部メモリ機構を導入すること。
• 従来のチューリングマシンの「L」および「R」操作を、連続的キー空間 ℝⁿ 上での任意のリー群作用に一般化し、滑らかで微分可能なメモリナビゲーションを可能にすること。
• リー群ベースのメモリアクセスが、標準LSTMおよびNTMアーキテクチャと比較して、系列モデリングおよびアルゴリズム的タスクにおける一般化性能とサンプル効率を向上させるかどうかを評価すること。
• 勾配不安定性を回避するための代替キー空間として、双曲的多様体（例えばポアンカレ円板）を用いることで得られる理論的・実用的意義を検討すること。

提案手法

• LANTMは、連続的キー空間 ℝⁿ 内でメモリ操作を管理するLSTMコントローラーを用いる。ここで、メモリアドレスは離散的整数ではなく、ベクトルとして表現される。
• メモリアクセスは2つのモードで実行される：ランダムアクセス（新しいキー・ベクトルを指定）とリー・アクセス（直前のキーに対してリー群作用を適用して新しいキーを生成）。
• リー群作用により、キー空間全体を滑らかで微分可能な方法で移動でき、単純な左右シフトを超えた、より洗練されたナビゲーションが可能になる。
• 2つの実装が評価された：重み正規化にSoftMaxを用いるものと、勾配流れの安定化に寄与するInvNormを用いるもの。
• 外部メモリは、キー・ベクトル上でのアテンションに類似したメカニズムを用いて、読み取り・書き込みサブルーチンを通じて統合される。
• システムは、時間方向の誤差逆伝播（backpropagation through time）により、メモリ状態とコントローラーパrameterを同時に最適化するエンドツーエンドの訓練手法で学習される。

実験結果

リサーチクエスチョン

• RQ1 連続的キー空間 ℝⁿ 上でのリー群作用は、ニューラルチューリングマシンにおける離散的またはランダムアクセスと比較して、より効果的かつ一般化可能なメモリアクセスを可能にするか？
• RQ2 LANTMアーキテクチャは、2桁から16桁の加算など、長距離依存性やアルゴリズム的タスクを学習する際、標準LSTMを上回る性能を示すか？
• RQ3 重み正規化の選択（SoftMax 対 比較して InvNorm）が、LANTMフレームワークにおける訓練安定性と一般化性能に与える影響は何か？
• RQ4 LANTMは、訓練分布をはるかに超える入力長（特に加算やシーケンス反転といった構造的タスクにおいて）に一般化できるか？
• RQ5 リー・アクセスメモリは、ポアンカレ円板のような非ユークリッド多様体へと拡張可能であり、安定性および一般化性能の向上に寄与するか？

主な発見

• InvNorm重みスキームを用いたLANTMは、加算、シーケンス反転、言語モデリングの全テストタスクでLSTMベースラインを上回った。
• k桁の加算タスクにおいて、LANTMは2〜16桁の数値にのみ訓練されたにもかかわらず、17〜32桁の入力に対してほぼ完全に一般化した。
• LANTMは、LSTMベースラインが要請するパrameter数の1%未満でこの一般化を達成した。これは、優れたサンプル効率を示している。
• SoftMaxベースのLANTMは、逆転、bigramFlip、加算、言語モデリングタスクにおいて、LSTMベースラインを上回れなかった。これは、訓練における不安定性を示唆している。
• LANTMは、構造的で長距離依存性のあるタスクにおいて特に優れた性能を示した。これは、リー・アクセスが、幾何的または順序的構造を内蔵する問題に適していることを示している。
• より構造のない環境（例：言語モデリング）では、LANTMはメモリを効果的に活用できなかった。これは、連続的かつノイズの多い状況におけるメモリ適応戦略の向上が今後の課題であることを示している。