[論文レビュー] Dynamic Neural Turing Machine with Soft and Hard Addressing Schemes

Çaǧlar Gülçehre, Sarath Chandar+2 more|arXiv (Cornell University)|Jun 30, 2016

Ferroelectric and Negative Capacitance Devices参考文献 40被引用数 35

ひとこと要約

本稿では、動的ニューラルチューリングマシン（D-NTM）を紹介する。D-NTMは、メモリ内のコンテンツベクトルに加え、学習可能なアドレスベクトルを併用することで、非線形かつ位置依存のアドレッシング方式を学習する、新しいNTMの変種である。連続的および離散的アテンション機構を組み合わせることで、D-NTMはFacebook bAbIタスクにおいてNTMおよびLSTMベースラインを上回り、特にエピソード的質疑応答タスクでは離散的アテンションが優れた結果を示した。これは、より優れたメモリ制御と長期依存関係の学習を示している。

ABSTRACT

We extend neural Turing machine (NTM) model into a dynamic neural Turing machine (D-NTM) by introducing a trainable memory addressing scheme. This addressing scheme maintains for each memory cell two separate vectors, content and address vectors. This allows the D-NTM to learn a wide variety of location-based addressing strategies including both linear and nonlinear ones. We implement the D-NTM with both continuous, differentiable and discrete, non-differentiable read/write mechanisms. We investigate the mechanisms and effects of learning to read and write into a memory through experiments on Facebook bAbI tasks using both a feedforward and GRUcontroller. The D-NTM is evaluated on a set of Facebook bAbI tasks and shown to outperform NTM and LSTM baselines. We have done extensive analysis of our model and different variations of NTM on bAbI task. We also provide further experimental results on sequential pMNIST, Stanford Natural Language Inference, associative recall and copy tasks.

研究の動機と目的

• 元のNTMにおける固定された線形アドレッシングの制限を克服するため、学習可能な非線形な位置依存アドレッシング方式を導入すること。
• 動的アドレッシング機構が、エピソード的質疑応答や自然言語推論といった複雑な実世界タスクにおいて、より優れた性能を発揮できるかどうかを評価すること。
• 連続的で微分可能なものと比較して、メモリネットワークにおける離散的で微分不可能なアテンション機構の有効性を検証すること。
• D-NTMの一般化およびスケーラビリティを、アルゴリズムベンチマークおよび順序付き学習タスクを含む多様なタスクにおいて評価すること。
• タスク固有の修正なしに統一されたモデルアーキテクチャを提供し、NTMおよびLSTMベースラインと公平に比較可能にする。

提案手法

• 各メモリセルが学習可能なコンテンツベクトルと学習可能なアドレスベクトルを保持する二重ベクトルメモリ構造をNTMに拡張する。
• 読み取りおよび書き込みに、連続的（微分可能）および離散的（非微分可能）の両方のアテンション機構を採用する。
• 現在の入力およびメモリ状態に基づいて読み書き操作を生成するため、GRUまたはフィードフォワードコントローラーを用いる。
• 非微分可能性を補うために、REINFORCEにベースライン推定を適用し、エンド・ツー・エンド学習を可能にする。
• メモリの割り当ておよび削除を処理するため、最近使用されていない順（LRU）メモリ管理戦略を実装する。
• 訓練の安定性と性能を向上させるために、フィードフォワードコントローラーにカリキュラム学習を適用する。

実験結果

リサーチクエスチョン

• RQ1 学習可能で非線形なアドレッシング方式は、複雑な実世界タスクにおけるニューラルチューリングマシンの性能を向上させることができるか？
• RQ2 特に正確なメモリリトリーブを要するタスクにおいて、離散的アテンションが連続的アテンションを上回る性能を発揮するか？
• RQ3 タスク固有のアーキテクチャ修正なしに、bAbI、順序付きMNIST、SNLI、およびアルゴリズムタスクといった多様なタスクに一般化可能か？
• RQ4 長期依存関係およびエピソード的メモリを処理する際、D-NTMはLSTMおよび標準NTMに比べて優れた性能を示すか？
• RQ5 カリキュラム学習およびアテンション機構の選択が、複雑なメモリ相互作用の学習能力に与える影響は何か？

主な発見

• D-NTMは、Facebook bAbIタスクスイート全18タスクにおいて、NTMおよびLSTMベースラインを上回り、全タスクで高い正確性を達成した。
• GRUコントローラーを搭載したD-NTMは、スタンフォード自然言語推論（SNLI）タスクで80.9％のテスト正確度を達成し、LSTM（77.6％）およびNTM（80.2％）を上回った。
• 順序付きp-MNISTタスクでは、D-NTMが長期依存関係の学習において優れた性能を示し、類似モデルを上回った。
• 連続的アテンションを用いたD-NTMは、コピータスクおよびアソシエイティブリコールタスクの両方を正しく解消できたが、離散的アテンションバージョンはアソシエイティブリコールで失敗した。これは、タスク依存の感受性を示している。
• 離散的アテンション機構は、エピソード的質疑応答タスクにおいて顕著に性能を向上させ、連続的アテンションよりもより正確なメモリアクセスを可能にしていると考えられる。
• フィードフォワードコントローラーと離散的アテンションを組み合わせたカリキュラム学習は、顕著な性能向上をもたらした。これは、訓練の安定性および収束性における重要性を示している。