[論文レビュー] Variational Data Assimilation with a Learned Inverse Observation Operator

Thomas Frerix, Dmitrii Kochkov+4 more|arXiv (Cornell University)|Feb 22, 2021

Meteorological Phenomena and Simulations参考文献 32被引用数 7

ひとこと要約

本稿では、最適化の安定性と収束性を向上させるために、学習された逆観測作用素を導入することで、カオス的システムにおける変分データ同調統合を改善する手法を提案する。観測データから物理状態空間への写像を学習し、その結果を状態の初期化および物理空間における目的関数の再定式化に用いることで、従来手法と比較して予測誤差が著しく低減される。Lorenz96ではL1誤差が最大75%、Kolmogorov流れでは77%の低減が達成された。

ABSTRACT

Variational data assimilation optimizes for an initial state of a dynamical system such that its evolution fits observational data. The physical model can subsequently be evolved into the future to make predictions. This principle is a cornerstone of large scale forecasting applications such as numerical weather prediction. As such, it is implemented in current operational systems of weather forecasting agencies across the globe. However, finding a good initial state poses a difficult optimization problem in part due to the non-invertible relationship between physical states and their corresponding observations. We learn a mapping from observational data to physical states and show how it can be used to improve optimizability. We employ this mapping in two ways: to better initialize the non-convex optimization problem, and to reformulate the objective function in better behaved physics space instead of observation space. Our experimental results for the Lorenz96 model and a two-dimensional turbulent fluid flow demonstrate that this procedure significantly improves forecast quality for chaotic systems.

研究の動機と目的

• 非可逆な観測から状態への写像によって引き起こされる非凸的かつ不適切に定式化された最適化問題を解決すること。
• 機械学習を活用して最適化問題の初期化と再定式化を改善することで、Lorenz96 や2次元乱流系のようなカオス的システムにおける予測精度を向上させること。
• 物理的整合性と解釈可能性を保持しつつ、正確な物理モデルを用いながら、学習された逆観測作用素による最適化の改善を実現すること。
• ディープラーニング技術、特に自動微分とハードウェアアクセラレーションが、物理制約付き最適化におけるデータ同調統合をどのように進歩させるかを示すこと。

提案手法

• ニューラルネットワークを用いて、観測データを物理状態空間に逆写像する逆観測作用素を学習する。
• 学習された逆作用素を用いて、変分データ同調統合の最適化を初期化し、状態空間におけるより良い初期点を提供する。
• 4D-Varの目的関数を観測空間から物理空間に再定式化することで、より良好な最適化の形状を実現する。
• ハイブリッド最適化戦略を実装する：まず物理空間で最適化を行い、その後観測空間に移行して解を精緻化する。
• Lorenz96 および Kolmogorov流れの物理モデルから生成された合成観測データを用いて、教師あり学習により逆作用素を訓練する。
• 自動微分とGPUアクセラレーションを活用し、既存の変分データ同調統合パイプライン内での逆作用素の効率的訓練とデプロイを実現する。

実験結果

リサーチクエスチョン

• RQ1 学習された逆観測作用素は、カオス的システムにおける変分データ同調統合の最適化可能性を向上させることができるか？
• RQ2 学習された逆作用素を初期化および目的関数変換に用いることで、従来手法と比較して予測精度が向上するか？
• RQ3 物理空間で最適化を行い、その後観測空間に移行するハイブリッド最適化戦略は、純粋に観測空間での最適化と比較してどのように性能を発揮するか？
• RQ4 逆作用素の初期化の質が、観測空間での広範な最適化の必要性をどの程度低減できるか？
• RQ5 機械学習を強化したデータ同調統合は、従来手法を上回る性能を発揮しつつも、物理的整合性を維持できるか？

主な発見

• 提案手法は、ベースライン手法と比較してLorenz96モデルの平均L1予測誤差を75%低減した。
• Kolmogorov流れでは、逆作用素による初期化とハイブリッド最適化を用いることで、予測誤差が相対的に77%低減された。
• 逆作用素による初期化は補間ベースの初期化を上回り、後者ではハイブリッド最適化の恩恵が得られなかった（吸引域が悪いため）。
• ハイブリッド最適化（物理空間で最適化し、その後観測空間に移行）はLorenz96では結果を改善したが、Kolmogorov流れではさらなる向上が得られなかった。これは、逆作用素がすでに近似的に最適な初期状態を提供していたことを示唆している。
• 学習された逆作用素は最適化の収束性の形状を著しく改善し、非凸な設定下でも高速かつ高精度な最適化を可能にした。
• 物理的整合性を保持するため正確な物理モデルを用いながら、機械学習による最適化の改善を実現した。これにより、モデルの置き換えを回避した。