[논문 리뷰] Leveraging Hamilton-Jacobi PDEs with time-dependent Hamiltonians for continual scientific machine learning

Paula Chen, Tingwei Meng외 3명|arXiv (Cornell University)|2023. 11. 13.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 적분 손실을 가진 정규화된 과학적 머신러닝(SciML)과 시간에 따라 변화하는 해밀토니안을 가진 해밀턴-자비(HJ) 편미분방정식(PDE) 사이의 이론적 연결을 수립함으로써, 치명적인 잊음(catastrophic forgetting)을 방지하고 지속적인 학습을 자연스럽게 지원하는 새로운 리카티-basd 훈련 방법을 제안한다. 모델 갱신을 시간에 따라 변화하는 HJ PDE의 해로 해석함으로써, 이 방법은 기존의 데이터를 저장할 필요 없이 계산 및 메모리 효율성을 크게 향상시키며, 특히 스트리밍 데이터 환경에서 뛰어난 성능을 발휘한다. 1차원 및 2차원 회귀 과제에서 상대적 $L_2$ 오차가 낮고, 표준 최소 제곱법 대비 메모리 사용이 줄어들었음을 입증하였다.

ABSTRACT

We address two major challenges in scientific machine learning (SciML): interpretability and computational efficiency. We increase the interpretability of certain learning processes by establishing a new theoretical connection between optimization problems arising from SciML and a generalized Hopf formula, which represents the viscosity solution to a Hamilton-Jacobi partial differential equation (HJ PDE) with time-dependent Hamiltonian. Namely, we show that when we solve certain regularized learning problems with integral-type losses, we actually solve an optimal control problem and its associated HJ PDE with time-dependent Hamiltonian. This connection allows us to reinterpret incremental updates to learned models as the evolution of an associated HJ PDE and optimal control problem in time, where all of the previous information is intrinsically encoded in the solution to the HJ PDE. As a result, existing HJ PDE solvers and optimal control algorithms can be reused to design new efficient training approaches for SciML that naturally coincide with the continual learning framework, while avoiding catastrophic forgetting. As a first exploration of this connection, we consider the special case of linear regression and leverage our connection to develop a new Riccati-based methodology for solving these learning problems that is amenable to continual learning applications. We also provide some corresponding numerical examples that demonstrate the potential computational and memory advantages our Riccati-based approach can provide.

연구 동기 및 목표

• 정규화된 학습 문제를 시간에 따라 변화하는 해밀턴-자비(PDE)와 연결함으로써 과학적 머신러닝(SciML)의 해석 가능성과 계산 효율성을 향상시키는 것.
• 최적 제어 이론과 점성 해법 이론을 활용하여 치명적인 잊음을 방지하고 지속적인 학습을 내재적으로 지원하는 새로운 SciML 훈련 방법론을 개발하는 것.
• 제안된 리카티 기반 접근법이 스트리밍 데이터 환경에서 표준 최소 제곱법에 비해 계산 및 메모리 측면에서 어떤 이점이 있는지 보여주는 것.
• 기존의 다중 시간 HJ PDE 연구를 무한 시간, 시간 연속 경우로 확장하여 지속적인 학습에 더 넓은 적용 가능성을 확보하는 것.
• 기존에 잘 알려진 HJ PDE 및 최적 제어 해법기를 활용하여 효율적이고 해석 가능한 SciML 훈련을 수행할 수 있는 잠재력을 탐색하는 것.

제안 방법

• 논문은 적분형 손실을 가진 정규화된 학습 문제와 시간에 따라 변화하는 HJ PDE의 점성 해 사이의 일반화된 허프 공식(Generalized Hopf Formula) 연결을 수립한다.
• 모델의 점진적 갱신을 시간에 따라 변화하는 HJ PDE의 점성 해의 시간 진화로 재해석하며, 이 경우 이전의 모든 데이터는 해에 내재적으로 포함된다.
• 선형 회귀의 경우, 모델 파라미터의 진화를 제어하는 리카티 미분방정식을 유도하여 효율적이고 점진적인 갱신을 가능하게 한다.
• 이 방법은 데이터를 전파 방향(예: 2차원에서 y축 방향)에 따라 순차적으로 처리하는 시간 연속 형식을 사용하며, 과거 데이터 저장을 피한다.
• HJ PDE 해는 일반화된 허프 공식의 수치적 적분을 통해 계산되며, 시간 진화는 룬게-쿠타(RK4)와 같은 표준 ODE 해법기를 사용해 처리된다.
• 이 방법은 몬테카를로 적분을 사용한 표준 최소 제곱법(LSE)과 대비하여, 메모리 및 확장성 측면에서의 이점을 강조한다.

실험 결과

연구 질문

• RQ1 정규화된 학습 문제 중 적분 손실을 가진 문제들이 시간에 따라 변화하는 해밀턴-자비(PDE)의 해로 재해석될 수 있는가?
• RQ2 SciML과 HJ PDE 간의 연결을 어떻게 활용하여 메모리 효율적이고 지속적인 학습을 지원하는 알고리즘을 설계할 수 있는가?
• RQ3 스트리밍 데이터 환경에서 제안된 리카티 기반 접근법이 표준 최소 제곱법에 비해 계산 및 메모리 측면에서 어떤 이점이 있는가?
• RQ4 HJ PDE 프레임워크를 비볼록 또는 비연속 해밀토니안으로 확장하여 일반적인 학습 문제에 더 넓은 적용 가능성을 확보할 수 있는가?
• RQ5 다양한 차원의 문제에서 전파 방향의 선택이 메모리 사용 및 정확도 성능에 어떤 영향을 미치는가?

주요 결과

• 모든 데이터를 처리한 후 리카티 기반 접근법은 $u$에 대해 0.07%, $f$에 대해 0.03%의 상대적 $L_2$ 오차를 기록하여, 단지 1차원 데이터 슬라이스를 동시에 처리하는 것에도 불구하고 표준 최소 제곱법보다 정확도에서 뛰어난 성능을 보였다.
• 표준 최소 제곱법은 $10^4$개 몬테카를로 점을 사용했을 때 $u$에 대해 0.30%, $f$에 대해 0.09%의 상대적 $L_2$ 오차를 기록했지만, 표준 랩탑의 메모리 제약로 인해 $10^5$개 점으로 확장할 수 없었다.
• 제안된 방법은 한 번에 $N$개의 데이터 포인트만 필요로 했고, LSE는 $N \times 10^5$ 그리드가 필요로 했으며, 이는 대규모 데이터 환경에서 뚜렷한 메모리 이점을 보여주었다.
• 모든 과거 데이터가 HJ PDE 해에 내재되어 있어, 이 방법은 치명적인 잊음을 자연스럽게 방지하며 과거 데이터 저장이 필요 없어진다.
• 노이즈가 있는 데이터에서도 높은 정확도를 유지하였으며, 도메인의 25%만 처리한 후에도 $u$에 대해 34.00%, $f$에 대해 30.30%의 상대적 $L_2$ 오차를 기록하였다.
• 이론적 분석은 정규화된 학습 문제를 푸는 것이 시간에 따라 변화하는 해밀토니안을 가진 최적 제어 문제와 그에 따른 HJ PDE를 푸는 것과 동치임을 확인하였다.