[論文レビュー] LEADS: Learning Dynamical Systems that Generalize Across Environments

Yuan Yin, Ibrahim Ayed+3 more|arXiv (Cornell University)|Jun 8, 2021

Model Reduction and Neural Networks参考文献 6被引用数 5

ひとこと要約

LEADSは、動的システムの学習において、共有成分と環境固有成分に動的システムを分解することで、環境をまたがる一般化を可能にする新しいフレームワークを提案する。共通の動的特性と環境固有の変動を同時に最適化することで、少ないデータでも優れた一般化性能を達成し、未学習の環境へのゼロショット転移も有効に可能にし、単一モデルおよび環境別ベースラインを上回る性能を発揮する。

ABSTRACT

When modeling dynamical systems from real-world data samples, the distribution of data often changes according to the environment in which they are captured, and the dynamics of the system itself vary from one environment to another. Generalizing across environments thus challenges the conventional frameworks. The classical settings suggest either considering data as i.i.d. and learning a single model to cover all situations or learning environment-specific models. Both are sub-optimal: the former disregards the discrepancies between environments leading to biased solutions, while the latter does not exploit their potential commonalities and is prone to scarcity problems. We propose LEADS, a novel framework that leverages the commonalities and discrepancies among known environments to improve model generalization. This is achieved with a tailored training formulation aiming at capturing common dynamics within a shared model while additional terms capture environment-specific dynamics. We ground our approach in theory, exhibiting a decrease in sample complexity with our approach and corroborate these results empirically, instantiating it for linear dynamics. Moreover, we concretize this framework for neural networks and evaluate it experimentally on representative families of nonlinear dynamics. We show that this new setting can exploit knowledge extracted from environment-dependent data and improves generalization for both known and novel environments. Code is available at https://github.com/yuan-yin/LEADS.

研究の動機と目的

• 動的システム学習におけるi.i.d.仮定の制限を解消すること。これは、環境間でデータ分布が変化する状況を想定する。
• 単一のグローバルモデル（分布シフトの影響を受けて偏る）および環境別モデル（データ不足による一般化性能の劣化）の欠点を克服すること。
• 環境間の共通性を活用しながらも、相違点をモデル化することで、一般化性能を向上させること。
• 最小限のデータで、新しい未学習の環境への効果的な一般化を可能にすること。
• 非線形動的システムに対して理論的裏付けがあり、データ効率の高い学習フレームワークを提供すること。

提案手法

• 学習された動的システムを、すべての環境に共通する動的特性を捉える共有成分と、環境固有の残差動的特性を表す環境固有成分に分解する。
• すべてのデータを用いて共有モデルを最適化し、各環境のデータを用いて環境固有モデルを最適化する学習目的を定式化する。
• 共有成分はすべての環境で学習され、環境固有のヘッドは各環境ごとに微調整されるニューラルネットワークアーキテクチャを採用する。
• 2段階の訓練戦略を適用する：まず共有成分を事前学習し、その後限られたデータで環境固有ヘッドを微調整する。
• 理論的分析を用いて、ややきつい条件下でも古典的ベースラインと比較して、学習に必要なデータ量（サンプル複雑性）が削減されることを示す。
• 常微分方程式（Lotka-Volterra）、偏微分方程式（Gray-Scott）、ナビエ-ストークス方程式を対象とし、完全な軌道データおよび部分的軌道データを用いてフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 共有成分と環境固有成分の両方をモデル化することで、One-For-AllおよびOne-Per-Env.ベースラインと比較して一般化誤差が改善されるか？
• RQ2 共有成分が、学習中に見なかった新しい環境への効果的な一般化を可能にするか？
• RQ3 線形動的システムのケースにおいて、LEADSのサンプル複雑性は古典的手法と比較してどうなるか？
• RQ4 各環境のデータが限られている状況で、分解の効果が性能向上にどの程度寄与するか？
• RQ5 フレームワークは、完全な長さの軌道およびナビエ-ストークスのような複雑なPDEに対しても一般化可能か？

主な発見

• LEADSは、One-Per-Env.およびOne-For-Allベースラインと比較して、特に各環境のデータが限られている状況で顕著に低いテストMSEを達成する。
• ナビエ-ストークスデータセット（各環境で8Kデータポイント）において、LEADSは10,000ステップの訓練後、テストMSEを7.14e-3にまで低下させ、One-Per-Env.（1.18e-2）および事前学習のみのベースライン（1.75e-1）を上回った。
• Gray-Scott PDEでは、LEADSが10,000ステップでテストMSE 1.27e-3を達成し、One-Per-Env.（3.05e-3）および事前学習のみ（5.44e-3）のベースラインを上回った。
• ゼロショットでの新しい環境への一般化において、微調整済みの環境ヘッドを用いたLEADSは、10,000ステップでLotka-VolterraでテストMSE 1.11e-3を達成したのに対し、スクラッチから学習したOne-Per-Env.は3.05e-3であった。
• 完全な長さの軌道予測では、LEADSは真値に非常に近い結果を示し、One-Per-Env.およびFT-NODEベースラインと比較して顕著に低い誤差マップを示した。
• 理論的分析により、特に線形動的システムのケースでは理論と実践が一致し、LEADSが古典的設定と比較してサンプル複雑性を削減することが確認された。