[论文解读] KuraNet: Systems of Coupled Oscillators that Learn to Synchronize

Matthew Ricci, Minju Jung+4 more|arXiv (Cornell University)|May 6, 2021

Nonlinear Dynamics and Pattern Formation参考文献 35被引用 6

一句话总结

KuraNet 是一种深度学习框架，通过神经网络将耦合振子系统中的固定耦合替换为可学习的、依赖数据的耦合函数。它能够在无序 Kuramoto 网络中实现同步，达成全局同步与簇同步，并在不同网络规模和未见数据上实现泛化，为物理学和系统生物学中复杂动力系统的建模提供了强大工具。

ABSTRACT

Networks of coupled oscillators are some of the most studied objects in the theory of dynamical systems. Two important areas of current interest are the study of synchrony in highly disordered systems and the modeling of systems with adaptive network structures. Here, we present a single approach to both of these problems in the form of "KuraNet", a deep-learning-based system of coupled oscillators that can learn to synchronize across a distribution of disordered network conditions. The key feature of the model is the replacement of the traditionally static couplings with a coupling function which can learn optimal interactions within heterogeneous oscillator populations. We apply our approach to the eponymous Kuramoto model and demonstrate how KuraNet can learn data-dependent coupling structures that promote either global or cluster synchrony. For example, we show how KuraNet can be used to empirically explore the conditions of global synchrony in analytically impenetrable models with disordered natural frequencies, external field strengths, and interaction delays. In a sequence of cluster synchrony experiments, we further show how KuraNet can function as a data classifier by synchronizing into coherent assemblies. In all cases, we show how KuraNet can generalize to both new data and new network scales, making it easy to work with small systems and form hypotheses about the thermodynamic limit. Our proposed learning-based approach is broadly applicable to arbitrary dynamical systems with wide-ranging relevance to modeling in physics and systems biology.

研究动机与目标

• 解决在具有异质自然频率、外场和时延的高无序振子网络中实现同步的挑战。
• 开发一种基于学习的框架，可在新的网络规模和未见的无序特征实现中泛化。
• 探索可学习耦合函数如何在复杂动力系统中促进全局或簇同步。
• 展示该框架在图像分割等实际问题中的适用性，利用振子动力学实现。
• 提供一种基于模型的可微分方法，用于研究非线性系统中的集体行为，为解析解难以求解的情况提供计算假设。

提出的方法

• 用通过深度神经网络实现的可学习耦合函数，替代 Kuramoto 模型中的传统固定耦合矩阵。
• 耦合函数以节点特征（如自然频率、空间位置、像素强度）作为输入，输出优化的耦合强度。
• 通过梯度下降训练，以最小化鼓励相位一致性的损失函数（全局或簇同步）。
• 采用 Kuramoto 动力学的可微分公式，实现通过振子网络的端到端反向传播。
• 将框架应用于两项任务：在无序网络中促进全局同步，以及通过诱导簇同步实现数据分类。
• 在图像处理任务中，对最终相位配置应用 k-means 聚类以提取分割标签。

实验结果

研究问题

• RQ1 在解析上难以处理的无序系统中，KuraNet 中的可学习耦合函数能否促进全局同步？
• RQ2 KuraNet 在新网络规模和未见的无序参数实现（如自然频率、时延）上的泛化能力如何？
• RQ3 KuraNet 能否用于诱导与有意义数据分组（如图像区域）相对应的簇同步？
• RQ4 与基于原始像素强度的聚类相比，KuraNet 在图像分割中的性能如何？
• RQ5 该框架在 Kuramoto 模型之外的其他动力系统中可扩展到何种程度？

主要发现

• KuraNet 有效学习了依赖数据的耦合函数，即使在具有异质自然频率、外场和时延的高无序 Kuramoto 模型中，也能促进全局同步。
• 该模型在新网络规模和未见的无序特征实现上表现出良好的泛化能力，显示出鲁棒性和可迁移性。
• 在簇同步实验中，KuraNet 在图像分割任务中实现了对称的最佳 Dice 分数 0.7001，显著优于基于原始像素强度的 k-means 方法（0.3719）。
• 尽管在规模小得多的系统上进行训练，该框架仍可泛化至大规模网络（如约 150,000 个节点），表明其具备强大的可扩展性。
• KuraNet 为解析上难以处理的模型中同步的条件提供了计算假设，为理论失效时提供经验洞察。
• 该方法是端到端可微分的，可应用于 Kuramoto 模型之外的动力系统，包括具有淬火无序的神经网络和流行病学网络。