[論文レビュー] A review on Neural Turing Machine.

Soroor Malekmohamadi Faradonbe, Faramarz Safi-Esfahani|arXiv (Cornell University)|Apr 10, 2019

Neural Networks and Applications参考文献 70被引用数 1

ひとこと要約

本論文は、ニューラルチューリングマシン（NTM）の体系的レビューを提示する。NTMは、ニューラルネットワークと外部記憶を組み合わせた微分可能で、アルゴリズム的タスクの学習を可能にするニューラルネットワークアーキテクチャである。本論文は、NTMの構造、変種、実装されたタスク、および比較について探求し、持続的記憶とアルゴリズム的推論能力を備えた神経記号的AIシステムの開発に貢献する。

ABSTRACT

One of the major objectives of Artificial Intelligence is to design learning algorithms that are executed on a general purposes computational machines such as human brain. Neural Turing Machine (NTM) is a step towards realizing such a computational machine. The attempt is made here to run a systematic review on Neural Turing Machine. First, the mind-map and taxonomy of machine learning, neural networks, and Turing machine are introduced. Next, NTM is inspected in terms of concepts, structure, variety of versions, implemented tasks, comparisons, etc. Finally, the paper discusses on issues and ends up with several future works.

研究の動機と目的

• 脳にインspiredされた汎用的学習マシンへの一歩として、ニューラルチューリングマシン（NTM）の包括的レビューを提供すること。
• NTMと関連する機械学習、ニューラルネットワーク、チューリングマシンの分類と概念的基盤を分析すること。
• NTMのアーキテクチャ、変種、およびさまざまな実装タスクにおけるパフォーマンスを検討すること。
• 学習効率およびアルゴリズム的一般化の観点から、NTMを他のモデルと比較すること。
• 神経記号的コンピューティングおよび微分可能記憶システム分野における未解決問題を特定し、今後の研究方向性を提案すること。

提案手法

• 本論文は、NTMを広範なAI研究の文脈に位置づけるために、機械学習、ニューラルネットワーク、チューリングマシンのマインドマップと分類体系を構築する。
• NTMのコアな構成要素、特に微分可能なニューラルネットワークコントローラーと外部微分可能記憶行列の分析を行う。
• アーキテクチャの改善と記憶アクセスメカニズムに基づいて、NTMの複数の変種（例：微分可能ニューラルコンピュータ（DNC））を評価する。
• アルゴリズム的タスクにおける学習パフォーマンスの観点から、NTMを標準的なRNNや他の系列モデルと比較する。
• 本論文は、質的および比較的分析を用いて、NTMがソーティングやコピーツールなど、アルゴリズムの学習と一般化能力をどのように示すかを評価する。
• コンテンツベースおよびロケーションベースのアドレス指定メカニズムなどの微分可能アドレス指定メカニズムが、正確な記憶の読み書き操作を可能にする役割について議論する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルチューリングマシンは、どのようにニューラルネットワークと外部記憶を統合してアルゴリズム的学習を可能にするか？
• RQ2 NTMの主要なアーキテクチャ的構成要素と記憶アクセスメカニズムは何か。それらは学習をどのように支援するか？
• RQ3 DNCなどのNTMの異なる変種は、パフォーマンスと一般化の観点で、元のアーキテクチャに対してどのように向上させているか？
• RQ4 NTMは、従来のRNNとはどのような点で異なり、アルゴリズム的タスクの学習において優れているか？
• RQ5 NTMを実世界のAIアプリケーションに展開する際の現在の制限および未解決の課題は何か？

主な発見

• NTMは、微分可能な記憶アクセスを介して、コピーやソーティング、関連記憶の再考といったアルゴリズム的タスクの学習と一般化を可能にする。
• 微分可能なニューラルコントローラーと外部記憶行列の統合により、系列ベースのタスクにおけるエンドツーエンド学習が可能になる。
• DNCのようなNTMの変種は、強化された記憶アドレス指定および記憶書き込みメカニズムのおかげで、複雑なタスクにおいてパフォーマンスが向上している。
• 特に長期依存関係を要するタスクにおいて、標準的なRNNよりも長いシーケンス長への一般化が優れている。
• その能力にもかかわらず、NTMはスケーラビリティおよび学習安定性の面で課題を抱えており、特に大規模または高次元のタスクでは顕著である。
• 本レビューでは、より効率的な記憶アドレス指定戦略の必要性と、微分可能ニューラルアーキテクチャにおける一般化の理論的理解の向上が求められている。