[論文レビュー] Resolving gradient pathology in physics-informed epidemiological models

Nickson Golooba, Woldegebriel Assefa Woldegerima|arXiv (Cornell University)|Mar 25, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

Conflict-Gated Gradient Scaling (CGGS) を導入し、SEIR疫学モデリングの物理-informed ニューラルネットワークにおける勾配衝突を解決して、安定した学習と標準的な収束速度を保証します。マグニチュードベースのベースラインよりも頑健性とカリキュラム様の学習ダイナミクスの改善を実証します。

ABSTRACT

Physics-informed neural networks (PINNs) are increasingly used in mathematical epidemiology to bridge the gap between noisy clinical data and compartmental models, such as the susceptible-exposed-infected-removed (SEIR) model. However, training these hybrid networks is often unstable due to competing optimization objectives. As established in recent literature on ``gradient pathology," the gradient vectors derived from the data loss and the physical residual often point in conflicting directions, leading to slow convergence or optimization deadlock. While existing methods attempt to resolve this by balancing gradient magnitudes or projecting conflicting vectors, we propose a novel method, conflict-gated gradient scaling (CGGS), to address gradient conflicts in physics-informed neural networks for epidemiological modelling, ensuring stable and efficient training and a computationally efficient alternative. This method utilizes the cosine similarity between the data and physics gradients to dynamically modulate the penalty weight. Unlike standard annealing schemes that only normalize scales, CGGS acts as a geometric gate: it suppresses the physical constraint when directional conflict is high, allowing the optimizer to prioritize data fidelity, and restores the constraint when gradients align. We prove that this gating mechanism preserves the standard $O(1/T)$ convergence rate for smooth non-convex objectives, a guarantee that fails under fixed-weight or magnitude-balanced training when gradients conflict. We demonstrate that this mechanism autonomously induces a curriculum learning effect, improving parameter estimation in stiff epidemiological systems compared to magnitude-based baselines. Our empirical results show improved peak recovery and convergence over magnitude-based methods.

研究の動機と目的

• PINN を SEIR 疫学モデルに適用した勾配病理を動機付け分析する。
• 衝突する学習信号を解決する動的・ジオメトリベースの勾配ゲーティング機構を開発する。
• 滑らかな非凸目的関数の下で提案 CGGS の収束保証を証明する。
• 収束、ピーク回復、ノイズデータに対する頑健性の実証的改善を示す。

提案手法

• データ損失、微分方程式残差損失、および論理的非負制約を用いて SEIR ダイナミクスを定式化する。
• データ勾配とのコサイン類似度と大きさバランス項を用いて物理勾配をゲートするConflict-Gated Gradient Scaling (CGGS) を導入する。
• 適応的物理重みの更新ルールは、コサイン類似度と勾配ノルムに対するシグモイドゲート（式(5)）を使用する。
• データ項をアンカーとして lambda_data = 1 を維持しつつ lambda_phy を適応させる；生物学的妥当性を維持するため論理制約ウェイトを固定する。
• 滑らかな非凸目的関数に対して CGGS がデータ損失の一次的停止点へ O(1/T) の収束を持つことを証明する（定理4.7）。
• CGGS が勾配衝突時に緩和フェーズを作り、勾配が整列するにつれて洗練フェーズへ移るというカリキュラム学習的解釈を提供する。

Figure 1 : Conceptual visualization of CGGS. (Left) The data and physics gradients conflict (opposing directions). (Center) Standard Magnitude Balancing (LRA) equalizes the lengths but ignores the angle. The resultant update vector (black) is minimized, leading to optimization stagnation (“Deadlock”

実験結果

リサーチクエスチョン

• RQ1 SEIR モデルの PINN において、データ忠実性と物理残差の勾配衝突がパレートのデッドロックを引き起こすか？
• RQ2 衝突を考慮した勾配ゲーティング機構は、ノイズが多くまばらなデータ下で安定・収束学習とより良いパラメータ回復を保証するか？
• RQ3 CGGS は大きさベースのバランシングや勾配射影法と比べて、収束と計算コストの点でどうか？
• RQ4 学習ダイナミクスが自律的なカリキュラム学習を示し、疫学系の硬直性処理を改善するか？

主な発見

• CGGS は勾配が衝突した場合（コサイン類似度が負）に物理項を抑制することでパレートのデッドロックを防ぐ。
• CGGS は滑らかな非凸設定でデータ損失の O(1/T) 収束速度を達成し、標準的な勾配法と一致する。
• この手法はカリキュラム効果を誘発する：勾配が衝突している間は緩和フェーズ、整列するにつれて洗練フェーズへ。
• 経験的に、CGGS は sparse かつノイズの多いデータからの SEIR 軌道の頑健な回復を実現し、マグニチュードベースのベースラインを上回る。
• CGGS はデータアンカーを一定に保ちつつ、物理制約を適応的にゲートすることで安定性と収束を改善する。

Figure 2 : Baseline analysis of a standard PINN training on noisy SEIR data. (Left) The model overfits the noise (blue solid curve) and fails to capture well the true dynamics. (Right) The cosine similarity between data and physics gradients frequently drops below zero (dashed line), indicating dest