[论文解读] LEADS: Learning Dynamical Systems that Generalize Across Environments

Yuan Yin, Ibrahim Ayed+3 more|arXiv (Cornell University)|Jun 8, 2021

Model Reduction and Neural Networks参考文献 6被引用 5

一句话总结

LEADS 提出了一种新颖的框架，用于学习可跨环境泛化的动力系统，通过将动力系统分解为共享部分和环境特异性部分。通过联合优化共同动力学与环境特异性变化，LEADS 在数据量较少的情况下实现了更优的泛化性能，并能有效实现对未见过环境的零样本迁移，优于单一模型和每环境单独训练的基线方法。

ABSTRACT

When modeling dynamical systems from real-world data samples, the distribution of data often changes according to the environment in which they are captured, and the dynamics of the system itself vary from one environment to another. Generalizing across environments thus challenges the conventional frameworks. The classical settings suggest either considering data as i.i.d. and learning a single model to cover all situations or learning environment-specific models. Both are sub-optimal: the former disregards the discrepancies between environments leading to biased solutions, while the latter does not exploit their potential commonalities and is prone to scarcity problems. We propose LEADS, a novel framework that leverages the commonalities and discrepancies among known environments to improve model generalization. This is achieved with a tailored training formulation aiming at capturing common dynamics within a shared model while additional terms capture environment-specific dynamics. We ground our approach in theory, exhibiting a decrease in sample complexity with our approach and corroborate these results empirically, instantiating it for linear dynamics. Moreover, we concretize this framework for neural networks and evaluate it experimentally on representative families of nonlinear dynamics. We show that this new setting can exploit knowledge extracted from environment-dependent data and improves generalization for both known and novel environments. Code is available at https://github.com/yuan-yin/LEADS.

研究动机与目标

• 为解决动力系统学习中 i.i.d. 假设的局限性，即数据分布随环境变化的问题。
• 克服单一全局模型（因分布偏移导致偏差）和每环境单独模型（因数据稀缺导致泛化能力差）的缺点。
• 通过利用环境间的共性并建模差异，提升泛化性能。
• 在极少量数据下，实现对新型未见环境的有效泛化。
• 提供一个理论基础坚实、样本高效的动力系统学习框架，适用于非线性动力系统。

提出的方法

• 将学习到的动力系统分解为共享组件（捕捉所有环境中的共同动力学）和环境特异性组件（用于残差动力学）。
• 制定学习目标，联合优化：使用全部数据训练共享模型，使用各环境数据训练环境特异性模型。
• 采用神经网络架构，其中共享组件在所有环境中进行训练，而环境特异性头则在每个环境中进行微调。
• 采用两阶段训练策略：先预训练共享组件，再使用少量数据微调环境特异性头。
• 借助理论分析表明，在温和条件下，与经典基线相比，样本复杂度更低。
• 在 ODE（Lotka-Volterra）、PDE（Gray-Scott）和 Navier-Stokes 方程上验证该框架，使用完整轨迹和部分轨迹数据。

实验结果

研究问题

• RQ1 与 One-For-All 和 One-Per-Env. 基线相比，同时建模共享与环境特异性动力学是否能降低泛化误差？
• RQ2 共享组件是否能实现对训练期间未见过的新环境的有效泛化？
• RQ3 在直线性动力系统情况下，LEADS 的样本复杂度与经典方法相比如何？
• RQ4 在每环境数据有限的情况下，该分解在多大程度上提升了性能？
• RQ5 该框架是否能泛化到完整轨迹以及像 Navier-Stokes 这类复杂的 PDE？

主要发现

• 在每环境数据有限的情况下，LEADS 的测试均方误差显著低于 One-Per-Env. 和 One-For-All 基线。
• 在 Navier-Stokes 数据集上，每环境仅 8K 数据点，经过 10,000 次训练步骤后，LEADS 将测试均方误差降低至 7.14e-3，优于 One-Per-Env.（1.18e-2）和仅预训练基线（1.75e-1）。
• 在 Gray-Scott PDE 上，经过 10,000 步训练，LEADS 的测试均方误差为 1.27e-3，优于 One-Per-Env.（3.05e-3）和仅预训练基线（5.44e-3）。
• 在零样本迁移至新环境时，LEADS 经过微调的环境头在 10,000 步后测试均方误差为 1.11e-3（Lotka-Volterra），而从零开始训练的 One-Per-Env. 为 3.05e-3。
• 完整轨迹预测显示，LEADS 的预测结果与真实值高度吻合，误差图显著低于 One-Per-Env. 和 FT-NODE 基线。
• 理论分析证实，与经典设置相比，LEADS 降低了样本复杂度，尤其在直线性动力系统情况下，理论与实践高度一致。