[論文レビュー] A Convex Optimization Approach to Learning Koopman Operators

Mario Sznaier|arXiv (Cornell University)|Feb 7, 2021

Model Reduction and Neural Networks参考文献 14被引用数 4

ひとこと要約

本稿では、ランク制約付き半定値計画（SDP）として定式化することで、データからKoopman作用素を学習する凸最適化フレームワークを提案する。この問題は凸SDPに緩和され、非線形状態空間の埋め込みと関連するヒルバート空間の観測関数を、埋め込み次元やダイナミクスの次数を事前に指定せずに同時に学習する。これにより、非線形力学系に対して証明可能に最適で低次のモデルが得られる。

ABSTRACT

Koopman operators provide tractable means of learning linear approximations of non-linear dynamics. Many approaches have been proposed to find these operators, typically based upon approximations using an a-priori fixed class of models. However, choosing appropriate models and bounding the approximation error is far from trivial. Motivated by these difficulties, in this paper we propose an optimization based approach to learning Koopman operators from data. Our results show that the Koopman operator, the associated Hilbert space of observables and a suitable dictionary can be obtained by solving two rank-constrained semi-definite programs (SDP). While in principle these problems are NP-hard, the use of standard relaxations of rank leads to convex SDPs. Further, these SDPs exhibit chordal sparsity leading to algorithms that scale linearly with the number of data points.

研究の動機と目的

• Koopman作用素学習における辞書の選定と近似誤差の上限を定める課題に取り組むこと。これは非線形システム同定において極めて重要な要因である。
• 時系列データからKoopman作用素、観測関数のヒルバート空間、および非線形状態空間の埋め込みを同時に学習するデータ駆動型手法を開発すること。
• 従来の手法でしばしばヒューリスティックに選ばれる埋め込み次元やダイナミクスの次数の事前指定を排除すること。
• 凸緩和の下で、得られたKoopman作用素と埋め込みが最適であることを保証する認証メカニズムを提供すること。
• 従来のハーケン行列因子分解や固定辞書EDMDと比較して、より単純で低次のモデルを発見できることを可能にすること。

提案手法

• 本手法は、Koopman作用素学習をランク制約付き半定値計画（SDP）として定式化し、ランク制約がシステムの低次元ダイナミクスを符号化する。
• 標準的な核ノルム緩和を用いて、ランク制約付きSDPを凸SDPに緩和し、標準的なSDPソルバを用いて計算可能にしている。
• 遅延座標とカーネルベースの非線形埋め込みを用い、元の状態空間をKoopman作用素が線形に作用する高次元空間に写像する。
• 2段階のSDPを逐次解く：最初の段階でローウェンマトリクスの定式化により、埋め込みとKoopman作用素が学習され、2番目の段階で潜在空間から元の状態空間への逆写像が学習される。
• SDP構造におけるチャーディナルスパarsityを活用し、ADMMベースのソルバを用いてデータポイント数に線形な複雑度でスケーラブルに解ける。
• Koopman作用素と埋め込みが学習された後、各ステップでO(r)の計算量で潜在空間における線形モデルを用いてダイナミクスを予測する。ここでrは遅延時間幅である。

実験結果

リサーチクエスチョン

• RQ1 Koopman作用素学習を、次元に関する事前仮定なしに、作用素、観測関数のヒルバート空間、非線形埋め込みを同時に同定できる凸最適化問題として定式化できるか？
• RQ2 ランク制約付きSDP定式化を、最適性を保ちつつ凸問題に緩和する方法は何か？ また、解の認証が可能か？
• RQ3 提案手法は、従来のEDMDやハーケン行列因子分解法よりも低次のモデルを発見できるか？ 特にカオス的システムにおいては？
• RQ4 非線形的かつカオス的システムにおいて、未観測の初期条件や長時間予測への一般化能力はどの程度か？
• RQ5 カーネルベースの埋め込みとチャーディナルスパarsityの併用により、大規模データセットに対しても線形時間でSDPを解けるか？

主な発見

• 提案手法は、ダフィング発振子や4次元非線形系といったカオス的システムに対しても、学習データおよび未学習データの両方で1ステップ先の予測を高精度に達成した。
• ダフィング発振子では、3次元の埋め込みを達成し、2次モデルを用いて100ステップ先の軌道を高精度に予測した。
• 捕食者・被食者モデルでは、120点の軌道から8次モデルを推定し、訓練データにない初期条件から出発しても80ステップ先まで最小誤差で予測した。
• 初期条件に極めて敏感な4次元カオス的システムに対しても、3次元の埋め込みを生成し、100ステップ先を合理的な精度で予測した。カオス性に対しても安定であることが示された。
• 従来のハーケン行列因子分解よりも低次のダイナミクスを発見した。これはモデルの単純化と一般化性能の向上の可能性を示唆している。
• SDP構造はチャーディナルスパarsityを示しており、データポイント数に線形な複雑度でADMMベースのソルバによりスケーラブルに解ける。これにより、より大規模なデータセットに対しても実用的である。