[論文レビュー] KuraNet: Systems of Coupled Oscillators that Learn to Synchronize

Matthew Ricci, Minju Jung+4 more|arXiv (Cornell University)|May 6, 2021

Nonlinear Dynamics and Pattern Formation参考文献 35被引用数 6

ひとこと要約

KuraNetは、深層学習フレームワークであり、固定された結合を、データに依存する可学習な結合関数に置き換える。これにより、不規則な Kuramoto ネットワークにおける同期が可能となり、グローバル同期およびクラスタ同期を達成する。また、ネットワークサイズや未知のデータに一般化可能であり、物理学およびシステム生物学における複雑な力学系のモデリングに強力なツールを提供する。

ABSTRACT

Networks of coupled oscillators are some of the most studied objects in the theory of dynamical systems. Two important areas of current interest are the study of synchrony in highly disordered systems and the modeling of systems with adaptive network structures. Here, we present a single approach to both of these problems in the form of "KuraNet", a deep-learning-based system of coupled oscillators that can learn to synchronize across a distribution of disordered network conditions. The key feature of the model is the replacement of the traditionally static couplings with a coupling function which can learn optimal interactions within heterogeneous oscillator populations. We apply our approach to the eponymous Kuramoto model and demonstrate how KuraNet can learn data-dependent coupling structures that promote either global or cluster synchrony. For example, we show how KuraNet can be used to empirically explore the conditions of global synchrony in analytically impenetrable models with disordered natural frequencies, external field strengths, and interaction delays. In a sequence of cluster synchrony experiments, we further show how KuraNet can function as a data classifier by synchronizing into coherent assemblies. In all cases, we show how KuraNet can generalize to both new data and new network scales, making it easy to work with small systems and form hypotheses about the thermodynamic limit. Our proposed learning-based approach is broadly applicable to arbitrary dynamical systems with wide-ranging relevance to modeling in physics and systems biology.

研究の動機と目的

• 自然周波数の不均一性、外部場、時間遅れを有する極めて不規則なオシレーター・ネットワークにおける同期を達成するという課題に対処すること。
• 新しいネットワークサイズや未知の不規則な特徴の実現に一般化可能な学習ベースのフレームワークを開発すること。
• 可学習な結合関数が、複雑な力学系におけるグローバル同期またはクラスタ同期を促進する仕組みを解明すること。
• 画像セグメンテーションのような実世界の問題への適用可能性を実証すること。
• 解析的に解けない場合に計算的仮説を提供する、モデルベースで微分可能な非線形系の集団的挙動の研究手法を提供すること。

提案手法

• Kuramotoモデルにおける従来の固定結合行列を、深層ニューラルネットワークとして実装された可学習結合関数に置き換える。
• 結合関数はノード特徴量（例：自然周波数、空間的位置、画素強度）を入力とし、最適化された結合強度を出力する。
• 位相の整合性（グローバル同期またはクラスタ同期）を促進するように、勾配降下法により訓練される損失関数を最小化する。
• オシレーター・ネットワーク全体を通じて端から端まで誤差逆伝播が可能となるように、Kuramotoダイナミクスの微分可能定式化を用いる。
• 2つのタスクにフレームワークを適用する：不規則なネットワークにおけるグローバル同期の促進、およびデータ分類のためのクラスタ同期の誘導。
• 画像処理タスクにおけるセグメンテーションラベルの抽出のために、最終的な位相配置に対してk-meansクラスタリングを適用する。

実験結果

リサーチクエスチョン

• RQ1 Kuramotoネットワークにおける可学習結合関数は、解析的に解けない不規則な系においてグローバル同期を促進できるか？
• RQ2 KuraNetは、新しいネットワークサイズや未知の不規則パラメータ（例：自然周波数、遅延）の実現に対してどれほど一般化できるか？
• RQ3 KuraNetは、画像セグメントのような意味のあるデータグループ化に対応するクラスタ同期を誘導できるか？
• RQ4 KuraNetの画像セグメンテーション性能は、元の画素強度に対する標準的クラスタリングと比較してどの程度優れているか？
• RQ5 このフレームワークは、Kuramotoモデルを超えた他の力学系へどの程度拡張可能か？

主な発見

• KuraNetは、自然周波数の不均一性、外部場、時間遅れを有する極めて不規則な Kuramoto モデルで、データに依存する結合関数を学習し、グローバル同期を達成した。
• モデルは新しいネットワークサイズや未知の不規則な特徴の実現に対して効果的に一般化され、強靭性と転送性を示した。
• クラスタ同期の実験では、KuraNetは画像セグメンテーションタスクで対称的な最良Diceスコア0.7001を達成し、元の画素強度に対するk-means（0.3719）を著しく上回った。
• フレームワークは、はるかに小さなシステムで訓練されたにもかかわらず、大規模なネットワーク（例：約150,000ノード）へも一般化可能であり、強力なスケーラビリティを示した。
• KuraNetは、解析的に解けないモデルにおける同期の条件について計算的仮説を提供し、理論が失敗する場面での実証的知見を提供した。
• この手法はエンドツーエンド微分可能であり、Kuramotoモデルを超える他の力学系、例えばクエンチド・ディスオーダーを有する神経ネットワークや疫学的ネットワークへの応用も可能である。