[論文レビュー] Toward bio-inspired information processing with networks of nano-scale switching elements

Zoran Konkoli, Göran Wendin|arXiv (Cornell University)|Nov 25, 2013

Advanced Memory and Neural Computing参考文献 46被引用数 3

ひとこと要約

本論文は、メモリと非線形性を有するナノスケールスイッチング素子（例：メモリスタ）のネットワークを用いて、スケーラブルな情報処理のためのバイオインスパイアドなパラダイムとしてリザボア計算（RC）を提案する。非線形的かつ履歴依存的なダイナミクスを活用し、入力信号を混合・変換する動的リザボアを構築する。主な貢献は、内部接続の学習を必要とせず、読み出し層のみを学習可能とする点であり、このようなネットワークが高容量な計算基盤として機能できることを示している。

ABSTRACT

Unconventional computing explores multi-scale platforms connecting molecular-scale devices into networks for the development of scalable neuromorphic architectures, often based on new materials and components with new functionalities. We review some work investigating the functionalities of locally connected networks of different types of switching elements as computational substrates. In particular, we discuss reservoir computing with networks of nonlinear nanoscale components. In usual neuromorphic paradigms, the network synaptic weights are adjusted as a result of a training/learning process. In reservoir computing, the non-linear network acts as a dynamical system mixing and spreading the input signals over a large state space, and only a readout layer is trained. We illustrate the most important concepts with a few examples, featuring memristor networks with time-dependent and history dependent resistances.

研究の動機と目的

• 局所的に接続されたナノスケールスイッチング素子のネットワークが、非従来型の計算基盤としての計算可能性を調査すること。
• 内部シナプス重みの学習を回避するリザボア計算（RC）のパラダイムを検討すること。
• 時間的・履歴依存的な抵抗を有するメモリスタネットワークの動的システムとしての計算容量を評価すること。
• 高品質なリザボア挙動を示す指標として、周波数応答関数や相関関数などのネットワークレベルの測定可能な性質（例：高調波生成、相関関数）を同定すること。
• 有機トランジスタや機能化ナノ粒子のナノフォトニクスネットワークを用いたナノファブリケーション技術を応用し、神経形態計算と分子スケールのコンponentsを統合する。

提案手法

• 履歴依存的抵抗を有する非線形ナノスケールスイッチング素子（特にメモリスタ）のネットワークを、計算基盤として用いる。
• リザボア計算の原則を適用する：入力信号を固定された非線形動的システム（リザボア）に供給し、それを高次元状態空間に変換する。
• 内部接続の学習を回避するため、リザボアの状態から関連情報を抽出する学習可能な読み出し層を採用する。
• 非線形周波数応答関数を用いてリザボアの品質を分析し、出力が遅延入力の線形結合から逸脱するかどうかをテストする。
• 実験的代理指標として、ノード間電圧差や相関関数（例：⟨V_int,j(t′)V_int,i(t)⟩）をリザボア状態ダイナミクスの指標として提案する。
• 臨界性、相転移、複雑系におけるカオス的ダイナミクスと関連する理論的枠組みを用いて、計算容量を評価する。

実験結果

リサーチクエスチョン

• RQ1 記憶機能と非線形性を有するナノスケールスイッチング素子のネットワークは、情報処理のための効果的計算基盤として機能できるか？
• RQ2 メモリスタネットワークの非線形周波数応答は、高品質なリザボア挙動を示す程度はどの程度か？
• RQ3 内部接続の学習を伴わず、このようなネットワークの計算容量をどのように定量化・最適化できるか？
• RQ4 リザボア状態の品質を示す実験的指標として、電圧相関や高調波生成などの測定可能な物理量は何か？
• RQ5 ナノスケールコンponentsを用いたリザボア計算は、スケーラビリティとエネルギー効率の点で、従来のデジタル計算およびニューロモルフィック計算の限界を克服できるか？

主な発見

• 時間的・履歴依存的抵抗を有するメモリスタネットワークは、リザボア計算に適した強い非線形ダイナミクスを示し、複雑な信号の混合と変換が可能である。
• リザボアが遅延入力の線形結合を超える非線形周波数応答を生成できることから、高品質な動的状態生成が示唆される。
• 高調波生成やノード間の高次相関関数が、リザボアの品質と計算容量の実験的指標として提案される。
• 理論的分析から、臨界状態に近い状態やカオス的ダイナミクスが、このようなネットワークの計算容量を向上させる可能性があると示唆される。
• リザボア計算は、シナプス重みの複雑な学習とリザボアダイナミクスを分離することで、従来のニューロモルフィックアーキテクチャに対する強固な代替手段を提供する。
• 有機トランジスタ（NOMFET）や自己組織的金ナノ粒子ネットワークに分子スイッチを組み込んだナノファブリケーションシステムの実験的妥当性が裏付けられる。