[論文レビュー] Implementing Neural Turing Machines

Mark Collier, Joeran Beel|arXiv (Cornell University)|Jul 23, 2018

Domain Adaptation and Few-Shot Learning参考文献 9被引用数 9

ひとこと要約

本論文は、3つのベンチマーク順序学習タスク（コピー、リピートコピー、連関想起）において、元のNTMの性能を正確に再現する安定的で高性能なニューラルチューリングマシン（NTM）の実装を提示する。主な貢献は、メモリ内容の定数初期化が、代替手法と比較して2倍速い収束を可能にするという鍵となる要因を同定したことである。また、公開可能な安定的で実用的なTensorFlowベースの実装もリリースしている。

ABSTRACT

Neural Turing Machines (NTMs) are an instance of Memory Augmented Neural Networks, a new class of recurrent neural networks which decouple computation from memory by introducing an external memory unit. NTMs have demonstrated superior performance over Long Short-Term Memory Cells in several sequence learning tasks. A number of open source implementations of NTMs exist but are unstable during training and/or fail to replicate the reported performance of NTMs. This paper presents the details of our successful implementation of a NTM. Our implementation learns to solve three sequential learning tasks from the original NTM paper. We find that the choice of memory contents initialization scheme is crucial in successfully implementing a NTM. Networks with memory contents initialized to small constant values converge on average 2 times faster than the next best memory contents initialization scheme.

研究の動機と目的

• ニューラルチューリングマシン（NTM）の安定的で再現可能かつ公開可能な実装が、元の結果を正確に再現していないという問題に対処すること。
• 特にメモリ内容の初期化という重要な実装選択が、NTMの学習安定性と収束速度に与える影響を同定し、評価すること。
• TensorFlowを用いた信頼性の高い、高性能なNTM実装を開発・リリースし、標準的な順序学習タスクで公表済みの性能を再現すること。
• 定数初期化が、ランダムまたは学習可能な初期化方式と比較して、収束速度と信頼性の面で優れていることを示すこと。

提案手法

• コントローラーネットワークに読み取りおよび書き込みヘッドを備え、コンテンツベースおよびロケーションベースのアドレッシングを組み合わせたソフトアテンション機構を通じて外部メモリ行列にアクセスする。
• アドレッシング機構は、以下の手順を経てアテンション重みを計算する：コンテンツベース重み付け（式1）、時系列内挿（式3）、シフトベースの反復（式4）、鋭化（式5）。
• メモリの更新は、消去および追加ベクトル（式7–8）を用いて行われ、アテンション重みに基づく影響を精密に制御できる。
• 5つのメモリ初期化方式（定数、ランダム、学習可能、Xavier、He初期化）を比較し、3つの順序タスクにおける収束速度と安定性を評価した。
• 最終的な実装では、メモリ内容に定数初期化を採用し、コントローラーヘッドのパラメータ計算およびインターフェース設計を最適化することで、学習安定性とTensorFlowとの統合性を向上させた。
• 学習は3つの標準的タスク（コピー、リピートコピー、連関想起）で評価され、10回の学習ランの中央値誤差曲線が報告された。

実験結果

リサーチクエスチョン

• RQ1 メモリ内容の初期化が、ニューラルチューリングマシンの収束速度と学習安定性に与える影響は何か？
• RQ2 なぜ多くのオープンソースNTM実装が、元のNTM論文で報告された性能を再現できないのか？
• RQ3 元の結果を再現し、さらなる研究を可能にする安定的で高性能なNTM実装を開発・リリースできるか？
• RQ4 定数初期化は、ランダムまたは学習可能な初期化と比較して、学習速度と信頼性の面でどのように異なるか？
• RQ5 提案された実装は、元のNTMやDifferentiable Neural Computer（DNC）のような他のMANNと同等の収束速度を達成できるか？

主な発見

• 定数初期化のメモリ内容は、3つのタスク全体で平均して、次に良い性能を示す「学習可能初期化」と比較して収束が2倍速い。
• 定数初期化を採用したNTM実装は、コピータスクにおいて、最良の公表済み結果および公式のDNC実装と同等のステップ数でほぼゼロ誤差に収束する。
• リピートコピータスクでは、LSTMより1.44倍遅いが、DNCより1.06倍速く、両方のMANNが全体的にLSTMを上回る。
• 連関想起タスクでは、NTM実装は元のNTMおよびDNCとほぼ同等の速度で問題を解決するが、LSTMは時間制限内に解決できない。
• 実装は安定しており、勾配爆発（NaN勾配）の報告がない。オープンソースとしてリリースされ、広く研究利用可能なオープンライセンスのもとで提供されている。
• 本研究は、メモリ初期化がNTM成功の鍵となる以前に無視されがちな要因であると結論づけ、今後の実装では定数初期化をデフォルトとして採用すべきであると提言する。