[論文レビュー] Variational optimization and data assimilation in chaotic time-delayed systems with automatic-differentiated shadowing sensitivity

Nisha Chandramoorthy, Luca Magri+1 more|arXiv (Cornell University)|Nov 16, 2020

Advanced Thermodynamics and Statistical Mechanics参考文献 81被引用数 6

ひとこと要約

本稿では、カオス的時遅れ系における変分最適化およびデータ同化のための、自動微分（AD）を強化したシャドー感度法を提案する。従来の接線/随伴ソルバに代えてADを用いることで、長時間平均機能の高精度な勾配計算が可能となり、カオス的力学における強固なパrameter最適化および状態推定が達成された。これは、高い精度と効率性を示す熱力学的音響モデルを用いて実証された。

ABSTRACT

In this computational paper, we perform sensitivity analysis of long-time (or ensemble) averages in the chaotic regime using the shadowing algorithm. We introduce automatic differentiation to eliminate the tangent/adjoint equation solvers used in the shadowing algorithm. In a gradient-based optimization, we use the computed shadowing sensitivity to minimize different long-time averaged functionals of a chaotic time-delayed system by optimal parameter selection. In combined state and parameter estimation for data assimilation, we use the computed sensitivity to predict the optimal trajectory given information from a model and data from measurements beyond the predictability time. The algorithms are applied to a thermoacoustic model. Because the computational framework is rather general, the techniques presented in this paper may be used for sensitivity analysis of ensemble averages, parameter optimization and data assimilation of other chaotic problems, where shadowing methods are applicable.

研究の動機と目的

• カオス的時遅れ系において、長時間平均機能の意味のある感度を計算する課題に取り組むこと。標準的な随伴法および接線法は、指数的不安定性のため、その効果を失う。
• シャドー感度分析に基づく、カオス的システムにおける変分最適化およびデータ同化の一般化された計算フレームワークを開発すること。
• シャドー法における計算コストの高い接線方程式および随伴方程式のソルバを、自動微分（AD）に置き換えることにより、効率性を向上させ、実装の複雑さを低減すること。
• データ同化を用いて、予測可能時間を超えたカオス的システムにおけるモデルパrameterの勾配ベース最適化および状態-パrameter同時推定を可能にすること。
• 本手法の有効性と一般性を、熱力学的音響モデルを用いて実証し、正確な感度計算および最適パラメータ選定を示すこと。

提案手法

• 明示的な接線方程式および随伴方程式の解法を自動微分（AD）に置き換えた、非侵襲的最小二乗シャドー（NILSS）アルゴリズムのADベースの変種を導入する。
• 前向きモードADを用いて、状態変数の摂動に関するシステム力学を微分することで、接線シャドー方向を計算する。
• 逆向きモードADを用いて、コスト関数を状態変数に関して微分することで、随伴シャドー方向を計算し、効率的な勾配伝搬を実現する。
• 各タイムステップでQR分解を適用し、シャドー方向を直交化することで、シャドー部分空間の計算における数値的安定性を維持する。
• ADシャドーフレームワークを変分最適化ループに統合し、システムパrameterに関する勾配降下法を用いて長時間平均機能を最小化する。
• ADシャドー感度をデータ同化に適応させ、長時間スパンにわたるモデル予測とノイズのある観測値との不一致を最小化する最適な軌道を計算する。

実験結果

リサーチクエスチョン

• RQ1 自動微分は、カオス的時遅れ系におけるシャドー感度分析の接線および随伴ソルバを効果的に置き換えることができるか？
• RQ2 従来の随伴法が発散するカオス的システムにおいて、ADシャドーは長時間平均機能の勾配をどの程度正確に計算できるか？
• RQ3 ADシャドーは、長期間の目的関数を持つカオス的時遅れ系において、効果的なパラメータ最適化をどの程度可能にするか？
• RQ4 ADシャドーは、予測可能時間スケールを超えたカオス的システムにおける状態およびパラメータ推定のためのロバストなデータ同化を支援できるか？
• RQ5 ADシャドーフレームワークは、特に時遅れを有するシステムに対し、他のカオス的システムへの応用においてどの程度一般化可能か？

主な発見

• ADシャドー法は、カオス的時遅れ系において長時間平均機能の正確な勾配を計算でき、従来の随伴法および接線法が指数的に発散する問題を克服した。
• 自動微分の使用により、接線方程式および随伴方程式を手動で導出・解く必要がなくなり、実装が著しく簡素化され、エラーを引き起こしやすいコーディングのリスクが低減された。
• 熱力学的音響モデルにおいて、本手法は効果的なパラメータ最適化を可能にし、長期間にわたる熱放出および圧力振動の平均を最小化する最適パラメータに収束した。
• データ同化において、ADシャドー感度は、観測データとモデル予測との不一致を最小化することで、予測可能時間を超えた状態およびパラメータの正確な同時推定を可能にした。
• フレームワークは汎用的かつ拡張可能である。提供されたJuliaコードベースは、新しいカオス的ODEまたは写像の統合を可能とし、新しいモデルへの適用に最小限の変更で対応できる。
• ADシャドー法は、各タイムステップでシャドー方向をQRに基づいて直交化することで、数値的安定性と正確性を維持し、高次元のカオス的力学においてもロバストであることを保証した。