[論文レビュー] Training neural operators to preserve invariant measures of chaotic attractors

Ruoxi Jiang, Peter Y. Lu+2 more|arXiv (Cornell University)|Jun 1, 2023

Computational Physics and Python Applications被引用数 4

ひとこと要約

本稿では、混沌的アトラクタの不変測度——長期的ダイナミクスの主要な統計的性質——を保存するため、神経オペレータの訓練を提案する。2つの新しい損失関数を用いる：不変統計の専門的知識を必要とする最適輸送に基づく損失、および事前知識が不要な不変統計を保存するコントラスト型特徴損失。標準的なRMSE訓練に比べ、高ノイズや混沌的感度の下でも長期的統計的忠実度が著しく向上する。

ABSTRACT

Chaotic systems make long-horizon forecasts difficult because small perturbations in initial conditions cause trajectories to diverge at an exponential rate. In this setting, neural operators trained to minimize squared error losses, while capable of accurate short-term forecasts, often fail to reproduce statistical or structural properties of the dynamics over longer time horizons and can yield degenerate results. In this paper, we propose an alternative framework designed to preserve invariant measures of chaotic attractors that characterize the time-invariant statistical properties of the dynamics. Specifically, in the multi-environment setting (where each sample trajectory is governed by slightly different dynamics), we consider two novel approaches to training with noisy data. First, we propose a loss based on the optimal transport distance between the observed dynamics and the neural operator outputs. This approach requires expert knowledge of the underlying physics to determine what statistical features should be included in the optimal transport loss. Second, we show that a contrastive learning framework, which does not require any specialized prior knowledge, can preserve statistical properties of the dynamics nearly as well as the optimal transport approach. On a variety of chaotic systems, our method is shown empirically to preserve invariant measures of chaotic attractors.

研究の動機と目的

• 標準的なRMSEベースの訓練が混沌的力学系の長期的統計的性質を保存できないという問題に対処すること。
• 初期条件への指数的感度と測定ノイズの下でも、混沌的アトラクタの不変測度を維持する訓練フレームワークを開発すること。
• 不変測度の専門的知識を必要としないコントラスト学習アプローチを提案し、統計的性質を保存すること。
• 短期的予測精度を保ちつつ、長期的統計的保存を実現するため、短時間スケールのRMSE損失と長期スケールの統計的保存損失を組み合わせることで、複数環境設定における一般化を向上させること。
• さまざまなノイズレベル下でのKuramoto–Sivashinsky方程式を含む混沌的PDEに対して、手法の実証的妥当性を検証すること。

提案手法

• モデル出力とデータの要約統計の分布を一致させるため、Sinkhorn変換に基づく最適輸送損失を導入し、不変測度の保存を保証する。
• 事前知識が不要な不変表現を学習するコントラスト型特徴損失を提案する。
• 統計的保存損失と標準的な短期的RMSE損失を組み合わせることで、短期的予測精度を維持する。
• ハイパーパrameter $λ$ を用いてRMSEと特徴損失のトレードオフを調整し、$λ=0.8$ をグリッドサーチにより選定。この値では特徴損失が最小化されるとともに、RMSEはベースラインの110%以内に保たれる。
• 各トレーリングがわずかに異なるパラメータで進化するマルチ環境訓練設定を採用し、多様なシステム設定における一般化を向上させる。
• 4次ルンゲ・クッタ法を用いた時間積分を用い、ランダムな初期条件と varying noise levels ($r = 0.1, 0.2, 0.3$) の下でKuramoto–Sivashinsky PDEに対して手法を検証する。

(a) Error metrics vs. noise scale $r$ .

実験結果

リサーチクエスチョン

• RQ1 最適輸送に基づく損失で訓練されたニューラルオペレータは、ノイズや混沌的感度の下でも、混沌的アトラクタの不変測度を保存できるか？
• RQ2 専門的知識が不要なコントラスト学習フレームワークは、不変測度の専門的知識がなくても、混沌的系の長期的統計的性質を保存できるか？
• RQ3 RMSE損失と統計的保存損失を組み合わせることで、短期的予測精度と長期的統計的忠実度のトレードオフにどのような影響を与えるか？
• RQ4 異なるノイズレベルが、標準的なRMSE訓練と本稿で提案する統計的保存手法の性能に与える影響は何か？
• RQ5 マルチ環境訓練設定は、混沌的系における多様な力学的実現の間で一般化を向上させるか？

主な発見

• 専門的知識が不要なコントラスト型特徴損失は、不変測度の専門的知識を必要とする最適輸送損失とほぼ同等の性能で不変測度を保存する。
• ノイズレベル $r=0.3$ の下で、RMSEベースラインモデルは顕著な性能劣化を示し、予測ダイナミクスにおける負の値の数が減少し、高周波数成分の捉えが不十分であることがエネルギースペクトルから明らかになった。
• λ=0.8 の場合、結合損失モデルは特徴損失を最小化しつつ、RMSEはRMSE専用ベースラインの110%以内に保たれるため、予測精度と統計的忠実度の間で良好なトレードオフが達成された。
• 可視化結果から、本稿で提案する2つの手法とも、真の系と同等の統計的整合性を持つダイナミクスを生成しており、特に高ノイズ下で顕著である。一方、RMSE専用モデルは統計的行動で著しく乖離する。
• 最適輸送損失とコントラスト損失は、λの増加に伴い、未観測の統計的誤差（不変統計を用いて測定）を効果的に低減するが、λ=0.8 でピークに達し、その後は効果の飽和が見られる。
• 本手法は、複数の混沌的系において時間不変の統計的性質を効果的に保存でき、高ノイズと混沌的感度の下でも頑健であることが示された。

Figure 2 : Our proposed approaches for training neural operators. (a) Neural operators are emulators trained to take an initial state and output future states in a recurrent fashion. To ensure the neural operator respects the statistical properties of chaotic dynamics when trained on noisy data, we