[論文レビュー] DySLIM: Dynamics Stable Learning by Invariant Measure for Chaotic Systems

Yair Schiff, Zhong Wan+5 more|arXiv (Cornell University)|Feb 6, 2024

Neural Networks and Applications被引用数 4

ひとこと要約

DySLIM は、スケーラブルな正則化項を用いて、軌道の正確さと系のアトラクタの不変測度の両方を同時に最適化することで、カオス的システムのための新しい学習フレームワークを提案する。このアプローチは、標準的な損失ベースの手法がカオス的不安定性のため発散しやすいのとは対照的に、優れた長期的統計的正確性と安定した軌道予測を達成する。

ABSTRACT

Learning dynamics from dissipative chaotic systems is notoriously difficult due to their inherent instability, as formalized by their positive Lyapunov exponents, which exponentially amplify errors in the learned dynamics. However, many of these systems exhibit ergodicity and an attractor: a compact and highly complex manifold, to which trajectories converge in finite-time, that supports an invariant measure, i.e., a probability distribution that is invariant under the action of the dynamics, which dictates the long-term statistical behavior of the system. In this work, we leverage this structure to propose a new framework that targets learning the invariant measure as well as the dynamics, in contrast with typical methods that only target the misfit between trajectories, which often leads to divergence as the trajectories' length increases. We use our framework to propose a tractable and sample efficient objective that can be used with any existing learning objectives. Our Dynamics Stable Learning by Invariant Measure (DySLIM) objective enables model training that achieves better point-wise tracking and long-term statistical accuracy relative to other learning objectives. By targeting the distribution with a scalable regularization term, we hope that this approach can be extended to more complex systems exhibiting slowly-variant distributions, such as weather and climate models.

研究の動機と目的

• 正のリャプノフ指数が時間経過とともに誤差を拡大するため、カオス的ダイナミクスの学習が不安定になる問題に対処すること。
• 標準的な学習法では発散しやすいことが多い、散逸的カオス的系の長期的統計的正確性を向上させること。
• アトラクタ上に存在する不変測度を、安定した学習のための正則化信号として活用すること。
• 既存の学習目的と組み合わせ可能な、実行可能でサンプル効率の良い目的関数を開発すること。
• 分布がゆっくり変化するような、気象や気候モデルなどの複雑なシステムのより信頼性の高いモデリングを可能にすること。

提案手法

• 本手法は、標準的な軌道損失と、系のアトラクタの不変測度を標的とする Sinkhorn 散発に基づく正則化項を組み合わせた DySLIM 目的関数を導入する。
• 学習されたダイナミクスのプッシュフォワードを用いて不変測度を推定し、プッシュフォワードトリックにより微分可能な最適化を可能にする。
• フレームワークは任意の自己回帰的モデルアーキテクチャと互換性があり、既存の訓練目的と統合可能である。
• 正則化項は Sinkhorn 散発を介した最適輸送を用いて計算され、スケーラブルで安定した最適化を可能にする。
• Lorenz-63、Kuramoto–Sivashinsky、Kolmogorov フローなどの系に適用され、バッチサイズと学習率に関するアブレーションスタディが実施された。
• 長時間軌道から不変測度が推定され、モデルはこの測度と一致するように訓練されつつ、短期的軌道の忠実性を維持する。

(a)

実験結果

リサーチクエスチョン

• RQ1 学習されたダイナミクスを系の不変測度に一致させる正則化が、カオス的システムにおける長期的安定性を向上させるか？
• RQ2 不変測度正則化の導入が、軌道追跡の正確性と統計的一致性に与える影響は何か？
• RQ3 提案された目的関数は、サンプル効率を損なわずに、既存の学習目的と効率的に組み合わせ可能か？
• RQ4 長期予測と統計的正確性の観点で、本手法は標準的な MSE ベースの学習より優れているか？
• RQ5 本手法は、複雑さやアトラクタ構造が異なるさまざまなカオス的システムに、どの程度一般化可能か？

主な発見

• DySLIM 目的関数は、MELR と covRMSE の指標が低くなることで示されるように、軌道の吹き上がりを顕著に低減し、長期的統計的正確性を向上させる。
• Lorenz-63 系では、正則化付きモデルが 256 時間ステップで中央値のコサイン類似度 0.89 を達成し、非正則化ベースラインを上回った。
• Kolmogorov フロー系では、正則化付きモデルの MELR は 2.34×10⁻² であったのに対し、非正則化プッシュフォワードベースラインは 4.10×10⁻² であった。
• 大きなバッチサイズ（最大 512）でも、非正則化モデルは依然として高い散逸性と不安定性を示したが、正則化付きモデルは一貫したダイナミクスを維持した。
• 複数のランダムシードにわたる安定した学習が可能であり、160 回の実行のうち非正則化では唯一の安定モデルが得られたにとどまった。
• 本フレームワークはハイパーパramータの変動に対して頑健であり、複雑なアトラクタを有するシステムを含め、多様なカオス的システムにおいて高い性能を維持した。

(b)