[論文レビュー] Leveraging Hamilton-Jacobi PDEs with time-dependent Hamiltonians for continual scientific machine learning

Paula Chen, Tingwei Meng+3 more|arXiv (Cornell University)|Nov 13, 2023

Model Reduction and Neural Networks被引用数 4

ひとこと要約

本論文は、積分型損失を伴う正則化された科学的機械学習（SciML）と、時間に依存するハミルトニアンを有するハミルトン＝ヤコビ（HJ）偏微分方程式（PDE）との間の理論的関係を確立し、継続的学習を自然にサポートするリカッチに基づくトレーニング手法を新たに開発した。モデルの更新を時間発展するHJ PDEの解として解釈することで、災難的忘却を回避し、特にストリーミングデータ環境下で、計算およびメモリ効率が著しく向上する。1次元および2次元の回帰タスクにおいて、相対的$L_2$誤差が低く、標準的最小二乗法と比較してメモリ使用量が削減されたことが実証された。

ABSTRACT

We address two major challenges in scientific machine learning (SciML): interpretability and computational efficiency. We increase the interpretability of certain learning processes by establishing a new theoretical connection between optimization problems arising from SciML and a generalized Hopf formula, which represents the viscosity solution to a Hamilton-Jacobi partial differential equation (HJ PDE) with time-dependent Hamiltonian. Namely, we show that when we solve certain regularized learning problems with integral-type losses, we actually solve an optimal control problem and its associated HJ PDE with time-dependent Hamiltonian. This connection allows us to reinterpret incremental updates to learned models as the evolution of an associated HJ PDE and optimal control problem in time, where all of the previous information is intrinsically encoded in the solution to the HJ PDE. As a result, existing HJ PDE solvers and optimal control algorithms can be reused to design new efficient training approaches for SciML that naturally coincide with the continual learning framework, while avoiding catastrophic forgetting. As a first exploration of this connection, we consider the special case of linear regression and leverage our connection to develop a new Riccati-based methodology for solving these learning problems that is amenable to continual learning applications. We also provide some corresponding numerical examples that demonstrate the potential computational and memory advantages our Riccati-based approach can provide.

研究の動機と目的

• 正則化された学習問題と時間に依存するハミルトニアンを有するハミルトン＝ヤコビ（HJ）PDEとの関連を確立することで、科学的機械学習（SciML）における解釈可能性と計算効率を向上させること。
• 最適制御理論および粘性解理論を活用し、継続的学習を内蔵的にサポートし、災難的忘却を回避する新しいSciMLトレーニング手法を開発すること。
• ストリーミングデータ環境下における、標準的最小二乗法と比較して、提案手法の計算的およびメモリ的利点を実証すること。
• 従来の多時刻HJ PDEの研究を、無限時間かつ連続時間のケースに拡張し、継続的学習へのより広範な適用可能性を高めること。
• 既存のHJ PDEおよび最適制御ソルバーを再利用することで、効率的かつ解釈可能なSciMLトレーニングが可能かどうかを検討すること。

提案手法

• 本論文は、積分型損失を伴う正則化された学習問題と、時間に依存するHJ PDEの粘性解との間の一般化されたホフ公式の関係を確立した。
• 逐次的なモデル更新を、すべての過去のデータが解に内在的に符号化されたHJ PDEの粘性解の時間発展として再解釈した。
• 線形回帰の場合、モデルパラメータの時間発展を支配するリカッチ微分方程式を導出した。これにより、効率的かつ逐次的な更新が可能となった。
• データは、例えば2次元におけるy軸に沿った方向に逐次処理される連続時間の定式化を採用し、過去のデータを保存する必要がなくなった。
• HJ PDEの解は、一般化されたホフ公式の数値的積分により計算され、時間発展はRK4などの標準的ODEソルバーで処理された。
• 本手法は、モンテカルロ積分を用いて標準的最小二乗法（LSE）と比較され、記憶効率およびスケーラビリティの優位性が示された。

実験結果

リサーチクエスチョン

• RQ1 正則化された学習問題に積分型損失を適用した場合、それを時間に依存するハミルトン＝ヤコビ（HJ）PDEの解として再解釈できるか？
• RQ2 SciMLとHJ PDEの関連を活用することで、記憶効率が高く、継続的学習を可能にするアルゴリズムを設計できるか？
• RQ3 ストリーミングデータ環境下において、提案されたリカッチに基づく手法が標準的最小二乗法に比べて、計算的および記憶的利点をどのように示すか？
• RQ4 HJ PDEフレームワークを非凸的または不連続なハミルトニアンに拡張することで、一般の学習問題への適用範囲を広げられるか？
• RQ5 高次元問題における記憶効率および精度性能に、プロパゲーション方向の選択がどのように影響するか？

主な発見

• すべてのデータを処理した後、リカッチに基づく手法は、$u$について0.07%、$f$について0.03%の相対的$L_2$誤差を達成し、1回に1次元データスライスしか処理しないにもかかわらず、標準的最小二乗法を上回る精度を示した。
• 標準的最小二乗法（$10^4$個のモンテカルロ点を用いて）は、$u$について0.30%、$f$について0.09%の相対的$L_2$誤差を示したが、標準のラップトップでは$10^5$点へのスケーリングがメモリ制限のため不可能であった。
• 本手法は1回に$N$個のデータポイントのみを必要としたが、LSEは$N \times 10^5$グリッドを必要としており、大規模データ環境下で顕著な記憶的優位性を示した。
• すべての歴史的データがHJ PDEの解に内在的に符号化されているため、本手法は災難的忘却を本質的に回避し、過去のデータを保存する必要がなくなった。
• ノイズが混入したデータに対しても高い精度を維持でき、ドメインの25%しか処理していない段階で、$u$について34.00%、$f$について30.30%の相対的$L_2$誤差を達成した。
• 理論的分析により、正則化された学習問題を解くことは、時間に依存するハミルトニアンを有する最適制御問題とその関連HJ PDEを解くことと等価であることが確認された。