[論文レビュー] Supervised Metric Regularization Through Alternating Optimization for Multi-Regime Physics-Informed Neural Networks

Enzo Nicolás Spotorno, Josafat Ribeiro Leal+1 more|arXiv (Cornell University)|Feb 10, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

この論文は TAPINN を導入する。監督付きメトリック正則化と交互最適化スケジュールを備えたトポロジー感知型PINNで、レジーム切替が鋭いパラメトリ動力学を扱う際に、多数のパラメータを用いずに HyperPINN よりも物理残差を改善する。

ABSTRACT

Standard Physics-Informed Neural Networks (PINNs) often face challenges when modeling parameterized dynamical systems with sharp regime transitions, such as bifurcations. In these scenarios, the continuous mapping from parameters to solutions can result in spectral bias or "mode collapse", where the network averages distinct physical behaviors. We propose a Topology-Aware PINN (TAPINN) that aims to mitigate this challenge by structuring the latent space via Supervised Metric Regularization. Unlike standard parametric PINNs that map physical parameters directly to solutions, our method conditions the solver on a latent state optimized to reflect the metric-based separation between regimes, showing ~49% lower physics residual (0.082 vs. 0.160). We train this architecture using a phase-based Alternating Optimization (AO) schedule to manage gradient conflicts between the metric and physics objectives. Preliminary experiments on the Duffing Oscillator demonstrate that while standard baselines suffer from spectral bias and high-capacity Hypernetworks overfit (memorizing data while violating physics), our approach achieves stable convergence with 2.18x lower gradient variance than a multi-output Sobolev Error baseline, and 5x fewer parameters than a hypernetwork-based alternative.

研究の動機と目的

• PINN におけるスペクトルバイアスとモード崩壊を、鋭いレジーム遷移を伴うパラメータ化動力学のモデリング時に動機づけて対処する。
• レジームごとに潜在空間を構造化するための監督付きメトリック学習を用いる単一ネットワーク TAPINN アーキテクチャを提案する。
• 物理制約を課す前に潜在空間を安定化させる交互最適化トレーニングスケジュールを開発する。
• Duffing 発振子において、ベースラインよりも物理残差を削減し、モデルの効率性を改善することを示す。

提案手法

• LSTM ベースのエンコーダを用い、短い観測ウィンドウを潜在変数 z に写像するエンコーダ-ジェネレータ TAPINN。
• 同じ強制振幅 F0 を持つアンカー/ポジティブをバッチ内で用い、異なる F0 を持つネガティブと共に潜在表現をクラスタ化するトリプレットロス（メトリックロス）。
• z を条件としたジェネレータ出力に対して governing ODE 残差を課す物理ロス。
• Phase-based alternating optimization: Phase I はメトリックロスを用いてエンコーダを最適化; Phase II はエンコーダを凍結した状態で物理ロスとデータロスを用いてジェネレータを最適化; 数バッチごとにインタリーブされた結合更新。
• 損失全体 L_total = L_data + alpha L_physics + beta L_metric、alpha と beta はチューニング（例: alpha=1.0, beta=0.1）。
• Phase の運用: 全体で 30 エポック（Phase I は L_metric のエンコーダ専用 5、Phase II は L_physics+L_data のジェネレータ専用 20、その後 k=5 バッチごとにインタリーブされた結合更新）。
• 時系列依存性を捉え、単純なアーキテクチャを超えるレジーム識別性を高めるために LSTM エンコーダを使用する。

Figure 1: Qualitative analysis of the Topology-Aware training process: (a) Gradient norms during training. The Multi-Output baseline (orange) shows significant spikes near regime transitions compared to ours (blue). (b) t-SNE visualization of the learned embeddings $z$ , colored by regime ( $F_{0}$

実験結果

リサーチクエスチョン

• RQ1 監督付きメトリック正則化を通じて学習されたトポロジー感知潜在空間は hypernetwork に頼らずに PINN におけるレジーム分離を改善できるか。
• RQ2 交互最適化スケジュールはメトリックと物理目的の勾配衝突を安定化させ、分岐近傍の最適化を改善するか。
• RQ3 TAPINN はパラメトリック PINN、HyperPINN、Sobolev 系のマルチ出力ベースと比較して物理残差、データ適合、パラメータ効率をどう示すか。
• RQ4 学習された潜在空間 z は支配パラメータ F0 に対して線形化可能か。単純な予測写像を得られるか。
• RQ5 このアプローチは Duffing類似システムを超えた他のマルチレジーム動的系へ一般化できるか。

主な発見

Method	Physics Residual (↓)	Params	Data MSE (↓)
Parametric Baseline	0.160	8,577	0.392
Multi-Output	0.192	8,069	0.426
HyperPINN	0.158	39,169	0.281
Ours (AO)	0.082	8,003	0.425

• TAPINN は物理残差 0.082 を達成し、物理的一致性の面でベースラインを上回る。
• TAPINN は 8,003 パラメータで、HyperPINN の 39,169 よりも 5 倍少ないパラメータ数を実現。
• HyperPINN はデータ MSE が最も低い（0.281）一方で物理残差が高く（0.158）、物理法則の遵守よりも記憶化を示唆。
• パラメトリックベースラインは物理残差 0.160、パラメータ 8,577、データ MSE 0.392。
• マルチ出力ベースラインは物理残差 0.192、データ MSE 0.426、パラメータ 8,069。
• 本手法は平均勾配ノルムを 2.14 倍低減、勾配分散を 2.18 倍小さく、マルチ出力ベースラインと比較して訓練の安定性が高い。