[論文レビュー] Self-Delimiting Neural Networks

Juergen Schmidhuber|arXiv (Cornell University)|Sep 29, 2012

Advanced Memory and Neural Computing被引用数 22

ひとこと要約

この論文は、重み行列にプログラムを符号化し、専用の停止ニューロンによって自己終了する、再帰的ニューラルネットワークの新規クラスである自己区切り型ニューラルネットワーク（SLIM NN）を紹介する。実行中に活性化しているニューロンと接続のみをトレースすることで、SLIM NNは効率的なリセットと学習を可能にし、動的パラメータ選択により過学習を低減し、AOPSを介して漸近的に最適な学習を実現する。これにより、スケーラブルでタスク固有かつ物理的に効率的なニューラル計算が可能になる。

ABSTRACT

Self-delimiting (SLIM) programs are a central concept of theoretical computer science, particularly algorithmic information & probability theory, and asymptotically optimal program search (AOPS). To apply AOPS to (possibly recurrent) neural networks (NNs), I introduce SLIM NNs. Neurons of a typical SLIM NN have threshold activation functions. During a computational episode, activations are spreading from input neurons through the SLIM NN until the computation activates a special halt neuron. Weights of the NN's used connections define its program. Halting programs form a prefix code. The reset of the initial NN state does not cost more than the latest program execution. Since prefixes of SLIM programs influence their suffixes (weight changes occurring early in an episode influence which weights are considered later), SLIM NN learning algorithms (LAs) should execute weight changes online during activation spreading. This can be achieved by applying AOPS to growing SLIM NNs. To efficiently teach a SLIM NN to solve many tasks, such as correctly classifying many different patterns, or solving many different robot control tasks, each connection keeps a list of tasks it is used for. The lists may be efficiently updated during training. To evaluate the overall effect of currently tested weight changes, a SLIM NN LA needs to re-test performance only on the efficiently computable union of tasks potentially affected by the current weight changes. Future SLIM NNs will be implemented on 3-dimensional brain-like multi-processor hardware. Their LAs will minimize task-specific total wire length of used connections, to encourage efficient solutions of subtasks by subsets of neurons that are physically close. The novel class of SLIM NN LAs is currently being probed in ongoing experiments to be reported in separate papers.

研究の動機と目的

• 再帰的ニューラルネットワーク（RNN）への漸近的最適プログラム探索（AOPS）の応用が不足しているという問題に、自己区切り型フレームワークを導入することで対処すること。
• 計算の各エピソードで使用された部分のみをトレースすることで、大規模で疎に使用されるニューラルネットワークにおける効率的なトレーニングと推論を可能にすること。
• タスクの要件に応じて有効なネットワークサイズを動的に選択することで、事前設定された正則化項やハイパーパrameterに依存せずに過学習防止のための組み込みメカニズムを提供すること。
• タスク固有の重み使用状況を追跡し、計算コストを最小限に抑えることで、一般問題ソルバにおける効率的でスケーラブルな学習を支援すること。
• 3D脳に似た将来のハードウェアと互換性を持つ学習フレームワークを設計し、タスクごとのサブネットワークを物理的に局所化するよう促進すること。

提案手法

• プログラムが重み行列に符号化され、計算が専用の停止ニューロンによって停止する一般用途のコンピュータとしてのSLIM NNを導入し、自己区切り実行を保証する。
• 計算エピソード中に使用されたニューロンと接続のみをトレースすることで、状態の効率的リセットが可能になり、ネットワークの活性部分にのみ計算コストが集中する。
• 停止プログラムにプレフィックスコード構造を適用し、学習および評価時に活性サブネットワークのみを考慮することを保証する。
• SLIM RNNのオンライン成長に段階的漸近的最適プログラム探索（AOPS）を適用し、活性化伝搬中に重みを更新することで、プレフィックス依存関係との整合性を維持する。
• 各接続ごとにタスクリストを維持し、各重みがどのタスクに依存しているかを追跡することで、局所的重み変更後の効率的なパフォーマンス再評価を可能にする。
• 3Dマルチプロセッサハードウェアにおける活性接続のタスク固有合計ワイヤ長を最小化する学習目的を提案し、タスクのサブネットワークを物理的に局所化することを奨励する。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワーク（RNN）は従来、自己区切り型プログラム構造を欠いているが、漸近的に最適なプログラム探索（AOPS）を効果的に応用するにはどうすればよいか？
• RQ2 各計算エピソードで使用されたニューロンと接続のサブセットのみを動的にトレースすることで、ニューラルネットワークの推論と学習をより効率化できるか？
• RQ3 SLIM NNは、事前設定された正則化項やハイパーパrameterに依存せずに、どのように自然に過学習を緩和するか？
• RQ4 局所的重み変更後に、SLIM NNで効率的なパフォーマンス評価と重み更新を実現するメカニズムは何か？
• RQ5 3Dハードウェアにおける合計ワイヤ長を最小化することで、将来のSLIM NNは物理的に局所化され、低遅延な解決策をどのように促進できるか？

主な発見

• SLIM NNは実行中に活性化しているニューロンと接続のみをトレースすることで、計算とリセットを効率的に行い、ネットワークの最小限に必要な部分にのみオーバーヘッドを集中させる。
• SLIM NNの自己区切り性により、学習時に使用された重みのみが考慮されるため、学習アルゴリズムが非活性パラメータを無視でき、探索空間を著しく削減できる。
• 実行時における有効サイズの動的選択により、SLIM NNは過学習を自然に回避し、有益な場合には「スリム」に保たれ、必要に応じてのみスケーリングされる。
• 重み変更後のパフォーマンス評価は、変更に影響を受けるタスクの集合に限定できるため、検証と学習の高速化が著しく促進される。
• AOPSとSLIM NNの統合により、活性化伝搬中に重み更新が適用されるオンラインで段階的な学習が可能になり、プレフィックス依存関係との整合性が保たれる。
• 3D脳に似たハードウェアで訓練された将来のSLIM NNは、合計ワイヤ長最小化の目的関数に従い、タスクのサブネットワークを物理的に局所化する重み行列を形成することが期待される。