[论文解读] Method of increasing the information capacity of associative memory of oscillator neural networks using high-order synchronization effect

Andrei Velichko, Maksim Belyaev+2 more|arXiv (Cornell University)|May 14, 2018

Nonlinear Dynamics and Pattern Formation参考文献 25被引用 3

一句话总结

本文提出了一种新方法，通过利用热耦合VO₂开关中的高阶同步，显著提高振子神经网络（ONNs）的信息容量。通过计算建模双振子和三振子系统，作者证明，同步阶数（定义为共同同步频率下的谐波之比）可使三振子方案实现最多约650种不同的同步状态（Ns），双振子系统则实现最多约260种，最优耦合强度可最大化容量，而噪声会降低容量。

ABSTRACT

Computational modelling of two- and three-oscillator schemes with thermally coupled $VO_2$-switches is used to demonstrate a novel method of pattern storage and recognition in an impulse oscillator neural network (ONN) based on the high-order synchronization effect. The method ensures high information capacity of associative memory, i.e. a large number of synchronous states $N_s$. Each state in the system is characterized by the synchronization order determined as the ratio of harmonics number at the common synchronization frequency. The modelling demonstrates attainment of $N_s$ of several orders both for a three-oscillator scheme $N_s$~650 and for a two-oscillator scheme $N_s$~260. A number of regularities are obtained, in particular, an optimal strength of oscillator coupling is revealed when $N_s$ has a maximum. A general tendency toward information capacity decrease is shown when the coupling strength and switch inner noise amplitude increase. An algorithm of pattern storage and test vector recognition is suggested. It is also shown that the coordinate number in each vector should be one less than the switch number to reduce recognition ambiguity. The demonstrated method of associative memory realization is a general one and it may be applied in ONNs with various mechanisms and oscillator coupling topology.

研究动机与目标

• 开发一种提高振子神经网络中关联记忆信息容量的方法。
• 研究高阶同步在实现多个稳定同步状态中的作用。
• 识别能最大化记忆容量的最优耦合强度和噪声水平。
• 提出一种用于ONNs中模式存储与识别的实用算法。

提出的方法

• 使用热耦合VO₂开关对双振子和三振子神经网络进行计算建模。
• 将同步阶数定义为共同同步频率下谐波之比，以表征不同的同步状态。
• 通过数值模拟分析在不同耦合强度和噪声振幅下稳定同步状态的数量（Ns）。
• 提出一种基于振子数量及其同步模式的测试向量存储与识别算法。
• 将向量坐标数设置为比开关数量少一个，以减少识别歧义。
• 分析不同耦合拓扑结构和机制下系统的行为，以确保方法的普适性。

实验结果

研究问题

• RQ1 VO₂开关振子网络中的高阶同步如何实现大量不同的同步状态？
• RQ2 使稳定同步状态数量（Ns）最大的最优耦合强度是什么？
• RQ3 增加耦合强度和内部噪声如何影响关联记忆的信息容量？
• RQ4 此类系统中，振子数量与可实现的最大Ns之间存在何种关系？
• RQ5 能否设计一种通用算法，用于模式存储与识别，以最小化向量识别的歧义？

主要发现

• 三振子方案实现了最多约650种不同的同步状态（Ns ~ 650），证明了其高信息容量。
• 双振子方案实现了最多约260种不同的同步状态（Ns ~ 260），证实了可扩展性。
• 在某一最优耦合强度下，稳定同步状态数量（Ns）达到最大值。
• 当耦合强度超过最优值时，Ns减少，表明存在权衡关系。
• 更高的内部噪声振幅会减少稳定同步状态数量，从而降低记忆容量。
• 通过将向量坐标数设置为比开关数量少一个，可有效减少识别歧义。