[論文レビュー] Learning to control non-equilibrium dynamics using local imperfect gradients

Carlos Floyd, Aaron R. Dinner+1 more|arXiv (Cornell University)|Apr 4, 2024

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本論文は、時空的に局所的で不完全なフィードバック規則を提案し、保守系・非保守系の両方に対して非平衡ダイナミクスを導く駆動プロトコルを学習させ、いくつかの物理的実例とともに示す。

ABSTRACT

Standard approaches to controlling dynamical systems involve biologically implausible steps such as backpropagation of errors or intermediate model-based system representations. Recent advances in machine learning have shown that "imperfect" feedback of errors during training can yield test performance that is similar to using full backpropagated errors, provided that the two error signals are at least somewhat aligned. Inspired by such methods, we introduce an iterative, spatiotemporally local protocol to learn driving forces and control non-equilibrium dynamical systems using imperfect feedback signals. We present numerical experiments and theoretical justification for several examples. For systems in conservative force fields that are driven by external time-dependent protocols, our update rules resemble a dynamical version of contrastive divergence. We appeal to linear response theory to establish that our imperfect update rules are locally convergent for these conservative systems. Finally, we show that similar local update rules can also solve dynamical control problems for non-conservative systems, and we illustrate this in the non-trivial example of active nematics. Our updates allow learning spatiotemporal activity fields that pull topological defects along desired trajectories in the active nematic fluid. These imperfect feedback methods are information efficient and in principle biologically plausible, and they can help extend recent methods of decentralized training for physical materials into dynamical settings.

研究の動機と目的

• 非平衡軌道を導くための、生物学的に妥当で局所的に計算可能な学習規則を動機づける。
• 局所外の最適制御勾配を近似する不完全な更新規則を開発・分析する。
• 保守的および非保守的ダイナミカルシステム全体での収束性と有効性を示す。
• 時間依存トラップ中のビーズ、膜、反応ネットワーク、活性ネマティクスなど、具体的な物理モデルへの適用性を示す。

提案手法

• 現在時点の観測量のみを用いて駆動プロトコルを更新する、時系列的に局所的な学習規則を導入する。
• 固定された正定行列で真の勾配を歪める不完全な勾配を用い、特定の条件下で収束を証明する。
• 平衡勾配への準静的縮約を介して、保守系に対する勾配ベース学習の非平衡拡張を導出する。
• 符号一貫偏微分に基づく、非保守的マルコフネットワークの定常状態制御の単調更新規則を導出する。
• ビーズを動くポテンシャル中に配置した系、自己配置曲率を持つヘルフリック膜、駆動化学ネットワーク、活性ネマティック流体などへの更新規則の適用。

実験結果

リサーチクエスチョン

• RQ1 局所的にアクセス可能な不完全な勾配 signals は、非平衡軌道をターゲットとなる動的経路へ導くことができるか。
• RQ2 保守的ダイナミクスにおいて、歪められた局所更新がどの条件下でなお望ましい軌道へ収束するか。
• RQ3 局所学習規則を非保守系と定常分布の制御へ拡張するにはどうすれば良いか。
• RQ4 局所更新だけで、活性ネマティクスのような複雑な活性物質系を、特定の欠陥軌道へ誘導できるか。

主な発見

• 誤差信号が歪んでいても、不完全で時空的に局所的な更新はマルコフ連鎖ダイナミクスにおいてターゲット軌道へ収束する。
• 保守的・非自動系には、準静的縮約により平衡勾配を用いて学習を導くことができ、線形応答の概念によって収束が支えられる。
• 自由エネルギー密度の差に基づく単純な局所更新は、非保守系の非平衡定常状態をターゲットへと導くことができる。
• 局所更新規則は活性ネマティクスにおける欠陥軌道を駆動し、複雑な非平衡材料への適用性を示す。
• 勾配の歪みは収束速度に影響を与えるが、所定の条件（固有値が正、または正定値性）下では不動点には影響しない。
• 学習フレームワークは情報効率が高く、潜在的に生物学的に妥当であり、ダイナミカルな設定で分散学習を可能にする。