[論文レビュー] Reservoir computing with simple oscillators: Virtual and real networks

André Röhm, Kathy Lüdge|arXiv (Cornell University)|Feb 23, 2018

Neural Networks and Reservoir Computing参考文献 44被引用数 10

ひとこと要約

本稿では、単純なオシレーターの実ネットワークとタイム多重化遅延ラインを組み合わせたハイブリッドリザボアコンピューティングフレームワークを提案し、高い計算性能を達成する。マスキングを用いて実ノード数と仮想化次元を体系的に変化させることで、マルチプレクスドネットワークが純粋な遅延ラインリザボアと同等またはそれを上回る性能を示すことを実証した。これにより、パrameterの変動に敏感でない高速な計算が可能になる。

ABSTRACT

The reservoir computing scheme is a machine learning mechanism which utilizes the naturally occuring computational capabilities of dynamical systems. One important subset of systems that has proven powerful both in experiments and theory are delay-systems. In this work, we investigate the reservoir computing performance of hybrid network-delay systems systematically by evaluating the NARMA10 and the Sante Fe task.. We construct 'multiplexed networks' that can be seen as intermediate steps on the scale from classical networks to the 'virtual networks' of delay systems. We find that the delay approach can be extended to the network case without loss of computational power, enabling the construction of faster reservoir computing substrates.

研究の動機と目的

• 実オシレーターとタイム多重化遅延ラインのハイブリッドネットワークが、長遅延ラインに基づく純粋な仮想リザボアと同等またはそれ以上の性能を示すかどうかを調査すること。
• ネットワークトポロジーと実ノード数がリザボアコンピューティングシステムにおける計算性能に与える影響を理解すること。
• ハイブリッドリザボアアーキテクチャにおける計算速度、パrameter感度、性能のトレードオフを評価すること。
• 標準ベンチマークタスクを用いて、実ネットワーク、仮想ネットワーク、マルチプレクスドハイブリッドシステムの間で体系的かつ定量的な比較を提供すること。

提案手法

• 実オシレーターとタイム多重化遅延ラインを組み合わせることでマルチプレクスドネットワークを構築し、読み出し次元を一定に保つ。
• タイム多重化（マスキング）技術を用いてリザボア内の仮想ノードをシミュレートし、有効に位相空間次元を拡大する。
• 遅延結合を伴う非線形オシレーターの連立系を用いてリザボアダイナミクスをモデル化し、遅延微分方程式系に従う。
• NARMA10およびSanta Feタスクを、リザボアコンピューティングのベンチマーク問題として採用し、性能を評価する。
• 結合強度とフィードバック遅延の2次元パラメータスキャンを実施し、異なるネットワーク構成における性能を評価する。
• 計算精度の定量的評価と比較に、主にNRMSE（正規化平均二乗誤差）を指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 実オシレーターとタイム多重化遅延を組み合わせたハイブリッドリザボアアーキテクチャは、長遅延ラインに基づく純粋な仮想リザボアと同等の性能を達成できるか？
• RQ2 ネットワーク内の実ノード数がリザボアコンピュータの計算性能とパrameter感度に与える影響は何か？
• RQ3 実ネットワークのトポロジー（一方向ループ、自己フィードバック付き双方向ループ）がハイブリッドリザボアシステムの性能に与える影響は何か？
• RQ4 ハイブリッドリザボアシステムにおいて、計算速度と性能の間にトレードオフがあるか、最適化可能か？
• RQ5 大規模な実ネットワークに見られるマルチスティビリティの存在は、小規模またはマルチプレクスドシステムと比較してリザボア性能にどのように影響するか？

主な発見

• 256個の実ノードを有する大規模で完全に実装されたネットワーク（例：256実ノード）は、NARMA10およびSanta Feタスクの両方で劣った性能を示し、NRMSE値が常に0.4を超える。
• 低実ノード数（例：1〜16）と高仮想化を特徴とするマルチプレクスドネットワークは、最先端の性能を達成し、純粋な遅延ラインリザボアと同等またはそれを上回る。
• 中程度の実ノード数と顕著なタイム多重化を組み合わせたシステムで最適な性能が達成され、複雑さと計算能力のバランスが重要であることが示された。
• ハイブリッドシステムは、大規模な実ネットワークと比較してパrameter感度が低く、計算速度が向上しており、実験的実装においてより頑健で実用的である。
• 自己フィードバック付き双方向ループトポロジーは、低仮想化（高実ノード数）の状態で最も顕著な性能低下を示し、多安定性の増加が原因と考えられる。
• 非同一の遅延ラインやマスクの導入によりさらなる性能向上が可能であるが、計算コストのためシミュレーションは行われず、今後の研究の有望な方向性である。