[논문 리뷰] Resolving gradient pathology in physics-informed epidemiological models

Nickson Golooba, Woldegebriel Assefa Woldegerima|arXiv (Cornell University)|2026. 03. 25.

Model Reduction and Neural Networks인용 수 0

한 줄 요약

SEIR 전염병 모델링을 위한 물리 정보를 포함한 신경망에서 그래디언트 충돌을 해결하기 위해 Conflict-Gated Gradient Scaling (CGGS) 를 도입하여 안정적인 학습과 표준 수렴 속도를 보장합니다. 크기 기반 기준선보다 향상된 견고성과 커리큘럼 유사한 학습 역학을 보여줍니다.

ABSTRACT

Physics-informed neural networks (PINNs) are increasingly used in mathematical epidemiology to bridge the gap between noisy clinical data and compartmental models, such as the susceptible-exposed-infected-removed (SEIR) model. However, training these hybrid networks is often unstable due to competing optimization objectives. As established in recent literature on ``gradient pathology," the gradient vectors derived from the data loss and the physical residual often point in conflicting directions, leading to slow convergence or optimization deadlock. While existing methods attempt to resolve this by balancing gradient magnitudes or projecting conflicting vectors, we propose a novel method, conflict-gated gradient scaling (CGGS), to address gradient conflicts in physics-informed neural networks for epidemiological modelling, ensuring stable and efficient training and a computationally efficient alternative. This method utilizes the cosine similarity between the data and physics gradients to dynamically modulate the penalty weight. Unlike standard annealing schemes that only normalize scales, CGGS acts as a geometric gate: it suppresses the physical constraint when directional conflict is high, allowing the optimizer to prioritize data fidelity, and restores the constraint when gradients align. We prove that this gating mechanism preserves the standard $O(1/T)$ convergence rate for smooth non-convex objectives, a guarantee that fails under fixed-weight or magnitude-balanced training when gradients conflict. We demonstrate that this mechanism autonomously induces a curriculum learning effect, improving parameter estimation in stiff epidemiological systems compared to magnitude-based baselines. Our empirical results show improved peak recovery and convergence over magnitude-based methods.

연구 동기 및 목표

• SEIR 전염병 모델에 적용된 PINN에서 그래디언트 병리 현상을 동기 부여하고 분석한다.
• 충돌하는 학습 신호를 해결하기 위한 동적이고 기하 기반의 그래디언트 게이팅 메커니즘을 개발한다.
• 매끄러운 비볼록 목적하에서 제안된 CGGS 방법에 대한 수렴 보장을 입증한다.
• 수렴성, 피크 회복, 및 노이즈가 있는 데이터에 대한 견고성에서 실증적 향상을 입증한다.

제안 방법

• 데이터 손실, ODE 잔차 손실 및 논리적 음의 제약 조건을 포함한 SEIR 동역학을 형식화한다.
• 데이터 그래디언트와의 코사인 유사도 및 크기 균형 항을 사용해 물리 그래디언트를 게이트하는 Conflict-Gated Gradient Scaling(CGGS)을 도입한다.
• 적응 물리 가중치의 업데이트 규칙은 코사인 유사도와 그래디언트 노름에 시그모이드 게이트를 적용한다(식 5).
• 생물학적 타당성을 유지하기 위해 데이터를 고정하고 lambda_data = 1로 유지하며 lambda_phy를 적응시키고, 논리 제약 가중치를 고정한다.
• 매끄러운 비볼록 목적에서 데이터 손실의 1차 정지점으로 CGGS의 수렴을 O(1/T)로 입증한다(정리 4.7).
• 그래디언트 충돌 중에 이완 단계를 만들고 그래디언트가 정렬됨에 따라 정제 단계를 제공하는 커리큘럼 학습 해석을 제시한다.

Figure 1 : Conceptual visualization of CGGS. (Left) The data and physics gradients conflict (opposing directions). (Center) Standard Magnitude Balancing (LRA) equalizes the lengths but ignores the angle. The resultant update vector (black) is minimized, leading to optimization stagnation (“Deadlock”

실험 결과

연구 질문

• RQ1 데이터 적합성 및 물리 잔차 간의 그래디언트 충돌이 SEIR 모델용 PINN에서 Pareto 교착 상태를 야기할 수 있는가?
• RQ2 충돌 인식 그래디언트 게이팅 메커니즘이 노이즈가 많고 희박한 데이터 하에서 안정적이고 수렴하는 학습 및 더 나은 매개변수 회복을 보장하는가?
• RQ3 CGGS가 크기 기반 균형 및 그래디언트 프로젝션 방법과 수렴 및 계산 비용 측면에서 어떻게 비교되는가?
• RQ4 학습 역학이 자동 커리큘럼 학습을 나타내어 전염병 시스템의 강성 처리를 향상시키는가?

주요 결과

• CGGS는 그래디언트가 충돌할 때 물리 항을 억제하여 Pareto 교착 상태를 방지한다(음의 코사인 유사도).
• CGGS는 매끄러운 비볼록 설정에서 데이터 손실의 O(1/T) 수렴 속도를 달성하여 표준 그래디언트 방법과 일치한다.
• 이 방법은 충돌 시 이완 단계가, 정렬될 때 정제 단계가 따라오는 커리큘럼 효과를 유도한다.
• 실증적으로 CGGS는 희박하고 노이즈가 있는 데이터로부터 SEIR 궤적의 견고한 회복을 보이며 크기 기반 기준선보다 우수하다.
• CGGS는 데이터 고정점을 일정하게 유지하는 한편 물리 제약은 적응적으로 게이트되어 안정성과 수렴을 개선한다.

Figure 2 : Baseline analysis of a standard PINN training on noisy SEIR data. (Left) The model overfits the noise (blue solid curve) and fails to capture well the true dynamics. (Right) The cosine similarity between data and physics gradients frequently drops below zero (dashed line), indicating dest