[論文レビュー] Method of increasing the information capacity of associative memory of oscillator neural networks using high-order synchronization effect

Andrei Velichko, Maksim Belyaev+2 more|arXiv (Cornell University)|May 14, 2018

Nonlinear Dynamics and Pattern Formation参考文献 25被引用数 3

ひとこと要約

本稿では、熱的に結合されたVO₂スイッチにおける高次同期を活用することで、発振子ニューラルネットワーク（ONNs）の情報容量を顕著に向上させる新規な手法を提案する。2発振子および3発振子系の計算モデルを用いて、著者らは同期の順序（共通周波数における高調波の比）が、3発振子系では最大で約650の異なる同期状態（Ns）を実現可能であり、2発振子系では最大で約260の同期状態を達成できることを示した。最適な結合強度が情報容量を最大化し、ノイズがそれを低下させることも明らかになった。

ABSTRACT

Computational modelling of two- and three-oscillator schemes with thermally coupled $VO_2$-switches is used to demonstrate a novel method of pattern storage and recognition in an impulse oscillator neural network (ONN) based on the high-order synchronization effect. The method ensures high information capacity of associative memory, i.e. a large number of synchronous states $N_s$. Each state in the system is characterized by the synchronization order determined as the ratio of harmonics number at the common synchronization frequency. The modelling demonstrates attainment of $N_s$ of several orders both for a three-oscillator scheme $N_s$~650 and for a two-oscillator scheme $N_s$~260. A number of regularities are obtained, in particular, an optimal strength of oscillator coupling is revealed when $N_s$ has a maximum. A general tendency toward information capacity decrease is shown when the coupling strength and switch inner noise amplitude increase. An algorithm of pattern storage and test vector recognition is suggested. It is also shown that the coordinate number in each vector should be one less than the switch number to reduce recognition ambiguity. The demonstrated method of associative memory realization is a general one and it may be applied in ONNs with various mechanisms and oscillator coupling topology.

研究の動機と目的

• 発振子ニューラルネットワークにおける連想記憶の情報容量を向上させる手法を開発すること。
• 高次同期が複数の安定な同期状態を可能にする役割を解明すること。
• メモリ容量を最大化する最適な結合強度およびノイズレベルを同定すること。
• パターンの記憶と認識に適した実用的アルゴリズムを提案すること。

提案手法

• 熱的に結合されたVO₂スイッチを用いた2発振子および3発振子ニューラルネットワークの計算モデル化。
• 同期の順序（共通同期周波数における高調波の比）を定義し、異なる同期状態を特徴付ける。
• 数値シミュレーションを用いて、異なる結合強度およびノイズ振幅の下での安定な同期状態の数（Ns）を分析。
• 発振子の数と同期パターンに基づいて、テストベクトルの記憶と認識に適したアルゴリズムを導入。
• 認識の曇りを低減するため、ベクトルの座標数をスイッチ数より1つ少なくする。
• 異なる結合トポロジーおよび結合メカニズムにおけるシステムの挙動を分析し、一般適用性を確認。

実験結果

リサーチクエスチョン

• RQ1 VO₂スイッチを用いた発振子ネットワークにおける高次同期は、どのように多数の異なる同期状態を可能にするか？
• RQ2 安定な同期状態の数（Ns）を最大にする最適な結合強度は何か？
• RQ3 結合強度の増加および内部ノイズの影響が、連想記憶の情報容量にどのように作用するか？
• RQ4 このシステムにおける発振子数と最大達成可能なNsの関係は何か？
• RQ5 ベクトル認識における曇りを最小限に抑える一般化されたアルゴリズムを設計可能か？

主な発見

• 3発振子系では、最大で約650の異なる同期状態（Ns ~ 650）を達成し、高い情報容量を示した。
• 2発振子系では、最大で約260の異なる同期状態（Ns ~ 260）を達成し、スケーラビリティを確認した。
• 同期状態の数（Ns）が最大に達する最適な結合強度が特定された。
• 最適値を上回る結合強度の増加は、Nsの減少を引き起こし、トレードオフの関係が存在することを示した。
• 内部ノイズの振幅が高くなると、安定な同期状態の数が減少し、メモリ容量が劣化した。
• スイッチ数より1つ少ない座標数を設定することで、認識の曇りが低減された。