[論文レビュー] Feynman Machine: The Universal Dynamical Systems Computer

Eric Laukien, Richard Crowder+1 more|arXiv (Cornell University)|Sep 13, 2016

Chaos-based Image/Signal Encryption参考文献 21被引用数 4

ひとこと要約

本稿では、神経科学および力学系理論にインspiredされた、動的システムのための汎用計算モデル「フェイマンマシン」を提案する。このモデルは、予測エンコーダ・デコーダモジュールの階層を用い、適応的で局所接続された学習により、時空間的ダイナミクスを予測する。これにより、データおよび計算リソースの要件を大幅に削減しつつ、効率的で頑健かつスケーラブルな機械学習が実現可能となる。

ABSTRACT

Efforts at understanding the computational processes in the brain have met with limited success, despite their importance and potential uses in building intelligent machines. We propose a simple new model which draws on recent findings in Neuroscience and the Applied Mathematics of interacting Dynamical Systems. The Feynman Machine is a Universal Computer for Dynamical Systems, analogous to the Turing Machine for symbolic computing, but with several important differences. We demonstrate that networks and hierarchies of simple interacting Dynamical Systems, each adaptively learning to forecast its evolution, are capable of automatically building sensorimotor models of the external and internal world. We identify such networks in mammalian neocortex, and show how existing theories of cortical computation combine with our model to explain the power and flexibility of mammalian intelligence. These findings lead directly to new architectures for machine intelligence. A suite of software implementations has been built based on these principles, and applied to a number of spatiotemporal learning tasks.

研究の動機と目的

• 現在のディープラーニングの限界を克服するため、神経科学および力学系理論に裏打ちされた新しい計算モデルを提案すること。
• 新皮質を相互作用する力学系の集合としてモデル化することで、生物学的神経計算と人工知能の間のギャップを埋めること。
• 最小限のデータ、計算コスト、ハイパーパramータチューニングで高い性能を達成する機械学習アーキテクチャを開発すること。
• モジュラーかつ分散型の学習により、低消費電力エッジデバイスからクラウドベースのクラスタまで、シームレスに統合可能な学習を可能にすること。
• 動的サブネットワークルーティングを用いて、教師あり、教師なし、半教師あり、強化学習を1つのアーキテクチャで統合すること。

提案手法

• フェイマンマシンは、動的システムの進化を予測する能力を持つ、予測エンコーダと生成デコーダのペアからなる階層的ネットワークを採用する。
• 各エンコーダは、局所的抑制と、入力と時間平均の減衰値を組み合わせた入力カーネルに基づく、局所的でスパースでバイナリの活性化メカニズムを用いる。
• エンコーダの刺激は、局所的受容野内の重み付き和によって計算され、重みはスパイク時系列依存可塑性（STDP）の一種によって更新される。
• デコーダは逆方向に作用し、上位レベルの予測から入力を再構成する。この際、エンコーダの隠れ状態がデコード過程を調整する。
• 学習は生物学的に妥当な更新則に基づく：エンコーダの重みは予測誤差と隠れ状態の活性度に基づいて調整され、バイアスは目標とするスパarsityを維持するために調整される。
• Routed Predictive Hierarchy（ルーティング予測階層）を用いることで、スパatiotemporalな文脈に応じてサブネットワークを切り替える動的ルーティングが可能となり、従来のディープネットワークの直接制御が可能になる。

実験結果

リサーチクエスチョン

• RQ1 相互作用する力学系の階層的システムが、それぞれが自らの進化を予測する場合、動的システムのための汎用コンピュータとして機能できるか？
• RQ2 時間遅れ埋め込みに関するタケンズの定理の原則を、ニューラルアーキテクチャにどのように実装できるか？
• RQ3 生物学的にインスパイアされた、局所接続でスパースかつ適応的学習を行うネットワークが、新皮質の感覚運動モデル化能力をどの程度再現できるか？
• RQ4 このようなシステムが、顕著に少ないデータ、計算コスト、ハイパーパramータチューニングでディープラーニングと同等の性能を達成できるか？
• RQ5 同じアーキテクチャが、教師あり、教師なし、半教師あり、強化学習といった多様な学習パラダイムを、1つのフレームワーク内でどのように統合できるか？

主な発見

• フェイマンマシンは、ディープラーニングモデルと同等の性能を達成しながら、計算リソースの消費、学習データ要件、ハイパーパramータチューニングの必要性を顕著に削減した。
• クラウドベースのモジュールを介したエッジデバイスの低帯域幅での拡張が可能であり、低消費電力ハードウェア上でもリアルタイムでの適応が可能である。
• 局所接続でスパースかつ適応的学習メカニズムを用いることで、階層的予測を通じて外部および内部世界の正確な感覚運動モデルを構築できる。
• Routed Predictive Hierarchyにより、文脈に応じたサブネットワークへの切り替えが可能となり、従来のディープネットワークの直接制御が可能になり、汎化性と適応性が向上した。
• エンコーダ状態によって非線形活性化が導入される、モodulated予測ネットワークは、信用割り当てを簡素化し、消失勾配問題を回避する。
• ソフトウェア実装は、さまざまな時空間的学習タスクで成功を収め、理論的枠組みとアーキテクチャ的原則の妥当性を検証した。