[论文解读] Leveraging Hamilton-Jacobi PDEs with time-dependent Hamiltonians for continual scientific machine learning

Paula Chen, Tingwei Meng+3 more|arXiv (Cornell University)|Nov 13, 2023

Model Reduction and Neural Networks被引用 4

一句话总结

本文建立了带积分损失的正则化科学机器学习（SciML）与具有时变哈密顿量的哈密顿-雅可比（HJ）偏微分方程（PDE）之间的理论联系，从而提出一种基于里卡蒂（Riccati）的新型训练方法，天然支持持续学习。通过将模型更新解释为时变HJ PDE的解，该方法避免了灾难性遗忘，并在流数据场景下实现了显著的计算与内存效率，如在一维和二维回归任务中所展示的，相对 $L_2$ 误差极低，且内存使用量远低于标准最小二乘法。

ABSTRACT

We address two major challenges in scientific machine learning (SciML): interpretability and computational efficiency. We increase the interpretability of certain learning processes by establishing a new theoretical connection between optimization problems arising from SciML and a generalized Hopf formula, which represents the viscosity solution to a Hamilton-Jacobi partial differential equation (HJ PDE) with time-dependent Hamiltonian. Namely, we show that when we solve certain regularized learning problems with integral-type losses, we actually solve an optimal control problem and its associated HJ PDE with time-dependent Hamiltonian. This connection allows us to reinterpret incremental updates to learned models as the evolution of an associated HJ PDE and optimal control problem in time, where all of the previous information is intrinsically encoded in the solution to the HJ PDE. As a result, existing HJ PDE solvers and optimal control algorithms can be reused to design new efficient training approaches for SciML that naturally coincide with the continual learning framework, while avoiding catastrophic forgetting. As a first exploration of this connection, we consider the special case of linear regression and leverage our connection to develop a new Riccati-based methodology for solving these learning problems that is amenable to continual learning applications. We also provide some corresponding numerical examples that demonstrate the potential computational and memory advantages our Riccati-based approach can provide.

研究动机与目标

• 通过将带正则化的学习问题与具有时变哈密顿量的哈密顿-雅可比（HJ）PDE相联系，解决科学机器学习（SciML）中的可解释性与计算效率问题。
• 提出一种新的SciML训练方法论，通过最优控制与粘性解理论，天然支持持续学习并避免灾难性遗忘。
• 在流数据设置下，展示所提出的基于里卡蒂的方法相较于标准最小二乘法在计算与内存方面的优势。
• 将先前关于多时间HJ PDE的研究扩展至无限时间、连续时间的情形，以增强其在持续学习中的广泛适用性。
• 探索复用成熟的HJ PDE与最优控制求解器，以实现高效、可解释的SciML训练的潜力。

提出的方法

• 本文建立了带积分型损失的正则化学习问题与具有时变哈密顿量的HJ PDE粘性解之间的广义霍普夫公式联系。
• 将增量式模型更新重新解释为HJ PDE粘性解的时间演化，所有历史数据均内在编码于解中。
• 针对线性回归，该方法推导出一个控制模型参数演化的里卡蒂微分方程，实现高效、增量式的更新。
• 采用时间连续的公式化方法，沿传播方向（如二维中的y轴）顺序处理数据，避免存储历史数据。
• 通过数值积分广义霍普夫公式计算HJ PDE解，时间演化由标准常微分方程求解器（如RK4）处理。
• 将该方法与使用蒙特卡洛积分的标准最小二乘法（LSE）进行对比，突出其在内存与可扩展性方面的优势。

实验结果

研究问题

• RQ1 能否将带积分损失的正则化学习问题重新解释为具有时变哈密顿量的哈密顿-雅可比（HJ）PDE的解？
• RQ2 如何利用SciML与HJ PDE之间的联系，设计出内存高效、支持持续学习的算法？
• RQ3 在流数据场景下，所提出的基于里卡蒂的方法相较于标准最小二乘法在计算与内存方面有何优势？
• RQ4 HJ PDE框架能否扩展至非凸或不连续的哈密顿量，以拓展其在一般学习问题中的适用性？
• RQ5 传播方向的选择如何影响高维问题中的内存与精度表现？

主要发现

• 在处理完所有数据后，基于里卡蒂的方法对 $u$ 的相对 $L_2$ 误差为 0.07%，对 $f$ 的相对 $L_2$ 误差为 0.03%，尽管每次仅处理一维数据切片，其精度仍优于标准最小二乘法。
• 标准最小二乘法使用 $10^4$ 个蒙特卡洛点时，对 $u$ 和 $f$ 的相对 $L_2$ 误差分别为 0.30% 和 0.09%，但由于标准笔记本的内存限制，无法扩展至 $10^5$ 个点。
• 所提方法每次仅需存储 $N$ 个数据点，而LSE需要存储 $N \times 10^5$ 的网格，表明在大数据环境中具有显著的内存优势。
• 该方法通过将所有历史数据编码于HJ PDE解中，天然避免了灾难性遗忘，无需存储过去数据。
• 即使在噪声数据下，该方法仍保持高精度，在仅处理域的25%后，对 $u$ 和 $f$ 的相对 $L_2$ 误差分别为34.00%和30.30%。
• 理论分析证实，求解正则化学习问题等价于求解一个最优控制问题及其关联的具有时变哈密顿量的HJ PDE。