[論文レビュー] Learning Koopman Representations for Hybrid Systems

Craig Bakker, Arnab Bhattacharya+3 more|arXiv (Cornell University)|Jun 22, 2020

Model Reduction and Neural Networks参考文献 10被引用数 5

ひとこと要約

本稿では、ハイブリッド力学系に適したコプマン作用素の表現を3つ提案し、持ち上げられた観測空間における線形ダイナミクスのデータ駆動学習を可能にする。離散状態変数を全単射写像によって排除することで、計算効率が向上し、深層学習に基づく実装が可能となり、長期にわたり正確なハイブリッド系の軌道を捉えることが可能になる。変換された定式化は、トレーニングの課題があるものの、長期的な安定性が優れていることが示された。

ABSTRACT

The Koopman operator lifts nonlinear dynamical systems into a functional space of observables, where the dynamics are linear. In this paper, we provide three different Koopman representations for hybrid systems. The first is specific to switched systems, and the second and third preserve the original hybrid dynamics while eliminating the discrete state variables; the second approach is straightforward, and we provide conditions under which the transformation associated with the third holds. Eliminating discrete state variables provides computational benefits when using data-driven methods to learn the Koopman operator and its observables. Following this, we use deep learning to implement each representation on two test cases, discuss the challenges associated with those implementations, and propose areas of future work.

研究の動機と目的

• 元のダイナミクスを保ちつつ、離散状態変数を排除することで計算上の利点を得る、ハイブリッド系のためのコプマン作用素表現を開発すること。
• 深層学習を用いてハイブリッド系のコプマン作用素をデータ駆動で学習可能とし、トレーニングと安定性の課題を克服すること。
• テストケースにおいて、スイッチング型、一般ハイブリッド型、変換型の異なるコプマン定式化の性能を、精度、収束性、スケーラビリティの観点から比較すること。
• 特に離散遷移における誤差伝搬とトレーニングの不安定性に起因する、ハイブリッドコプマン表現の学習における主な課題を特定すること。
• 誤差伝搬の低減に寄与するカスタム損失関数やマルチステップトレーニングなどの今後の改善策を提案すること。

提案手法

• スイッチング系に特化したスイッチング型コプマン定式化を提案し、離散状態によってインデックス付けられた有限個のコプマン行列を用いる。
• 離散変数から連続変数への全単射写像を用いた変換型コプマン表現を導入し、ダイナミクスから離散状態を排除する。
• 元のハイブリッド構造を保ちつつ、離散変数を連続な観測空間に埋め込む一般ハイブリッド型コプマン定式化を構築する。
• 時系列データからコプマン観測量とコプマン行列の近似を深層ニューラルネットワークを用いて学習する。状態を含む観測量により、一意的な状態回復が保証される。
• 線形回帰に類似した形式を採用：$\psi_x(x_{k+1}) = K_x \psi_x(x_k) + K_{xu} \psi_{xu}(x_k, u_k)$ で、$K_x$ と $K_{xu}$ は教師あり学習により学習される。
• ミニバッチトレーニングと事前学習戦略を適用し、特に大規模データセットや複雑な定式化において収束性と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 連続的および離散的ダイナミクスが混在するハイブリッド系に、コプマン作用素表現をどのように適応できるか？
• RQ2 ハイブリッド系のコプマンベースモデリングにおいて、離散状態変数を排除することで得られる計算的および学習的利点は何か？
• RQ3 スイッチング型、一般ハイブリッド型、変換型の異なるコプマン定式化は、トレーニングの安定性、精度、スケーラビリティの観点でどのように比較できるか？
• RQ4 離散遷移における誤差伝搬を最小限に抑えるために、最も効果的なトレーニング戦略は何か？
• RQ5 カスタム損失関数やマルチステップトレーニングは、特に高次元の離散状態を持つ系において、長期的軌道精度を著しく向上させることができるか？

主な発見

• スイッチング型コプマン定式化は、最もトレーニングが簡単で、最も高い精度を示し、テスト軌道における平均誤差が0.01に達した。
• 変換型定式化は、速やかにトレーニングが完了したが、誤差が0.008に plateau に達し、スイッチング型に比べて高い誤差を示した。しかし、長期的な安定性は優れており、スイッチング型の20〜30ステップに対し、40〜50ステップにわたり精度を維持した。
• 一般ハイブリッド型定式化は、最もトレーニングが困難で、単一ステップ誤差分布が長尾を示し、離散遷移誤差に対して極めて感受性が高かった。
• 離散遷移の不正確さが、軌道の発散の主な原因であった。これは、長期的な性能を確保するには、離散スイッチの正確なモデリングが不可欠であることを示している。
• 緩められた離散変数を用いた事前学習により、一般ハイブリッド型定式化の収束が向上した。これは、複雑なハイブリッド系を扱うための有効な戦略であると考えられる。
• マルチステップトレーニングや、離散遷移を優先する重み付き損失関数は、特に高次元の離散状態を持つ系において、精度を著しく向上させうる。