[논문 리뷰] Supervised Metric Regularization Through Alternating Optimization for Multi-Regime Physics-Informed Neural Networks

Enzo Nicolás Spotorno, Josafat Ribeiro Leal외 1명|arXiv (Cornell University)|2026. 02. 10.

Model Reduction and Neural Networks인용 수 0

한 줄 요약

이 논문은 TAPINN을 소개한다. TAPINN은 다중-레짐 다이내믹스를 더 잘 다루기 위해 감독 메트릭 규제와 교대 최적화 스케줄을 갖춘 토폴로지 인지 PINN으로서, HyperPINN보다 더 적은 매개변수로 물리 잔여를 개선한다.

ABSTRACT

Standard Physics-Informed Neural Networks (PINNs) often face challenges when modeling parameterized dynamical systems with sharp regime transitions, such as bifurcations. In these scenarios, the continuous mapping from parameters to solutions can result in spectral bias or "mode collapse", where the network averages distinct physical behaviors. We propose a Topology-Aware PINN (TAPINN) that aims to mitigate this challenge by structuring the latent space via Supervised Metric Regularization. Unlike standard parametric PINNs that map physical parameters directly to solutions, our method conditions the solver on a latent state optimized to reflect the metric-based separation between regimes, showing ~49% lower physics residual (0.082 vs. 0.160). We train this architecture using a phase-based Alternating Optimization (AO) schedule to manage gradient conflicts between the metric and physics objectives. Preliminary experiments on the Duffing Oscillator demonstrate that while standard baselines suffer from spectral bias and high-capacity Hypernetworks overfit (memorizing data while violating physics), our approach achieves stable convergence with 2.18x lower gradient variance than a multi-output Sobolev Error baseline, and 5x fewer parameters than a hypernetwork-based alternative.

연구 동기 및 목표

• PINN에서 매개 변수화된 다이나믹 시스템을Sharp한 레짐 전이로 모델링할 때의 스펙트럴 바이어스와 모드 붕괴를 동기 부여하고 해결한다.
• 레짐별로 잠재 공간을 구조화하기 위해 감독된 메트릭 학습을 사용하는 단일 네트워크 TAPINN 아키텍처를 제안한다.
• 물리 제약을 강제하기 전에 잠재 공간을 안정시키기 위한 교대 최적화 훈련 일정 개발한다.
• Duffing 진동자에 대해 기본 모델 대비 물리 잔여 감소 및 모델 효율성 우수성을 보여준다.

제안 방법

• LSTM 기반 인코더가 짧은 관측 창을 잠재 z로 매핑하는 인코더-생성기 TAPINN.
• 같은 작용 에너지 F0를 가진 배치 내 정박자/양수를 사용하고 다른 F0를 가진 음수를 사용하는 삼중 손실(메트릭 손실)로 레짐별로 잠재 표현을 클러스터링.
• 추정 z에 조건화된 생성기의 출력에 물리적으로 제어되는 미분방정식 잔여를 강제하는 물리 손실.
• Phase-based alternating optimization: Phase I는 메트릭 손실로 인코더를 최적화; Phase II는 물리 및 데이터 손실로 생성기를 최적화하고 인코더는 고정; 몇 배치마다 인터리드 공동 업데이트.
• 손실 구성 L_total = L_data + alpha L_physics + beta L_metric으로 알파와 베타를 조정(예: alpha=1.0, beta=0.1).
• Phase orchestration: 전체 30 에포크(Phase I 5 엔코더만 L_metric, Phase II 20 생성기만 L_physics+L_data, 이후 k=5 배치마다 인터리드 공동 업데이트).
• 잠재 인코더를 사용하여 시간 의존성을 포착하고 간단한 아키텍처를 넘어 레짐 구분을 개선하기 위한 LSTM 인코더의 사용

Figure 1: Qualitative analysis of the Topology-Aware training process: (a) Gradient norms during training. The Multi-Output baseline (orange) shows significant spikes near regime transitions compared to ours (blue). (b) t-SNE visualization of the learned embeddings $z$ , colored by regime ( $F_{0}$

실험 결과

연구 질문

• RQ1 토폴로지 인식 잠재 공간이 감독 학습 메트릭 규제를 통해 PINN에서 하이퍼네트워크 없이 레짐 분리를 개선할 수 있는가?
• RQ2 교대 최적화 스케줄이 메트릭과 물리 목표 간의 그래디언트 충돌을 안정시키고 분기 근처의 최적화를 개선하는가?
• RQ3 TAPINN이 물리 잔여, 데이터 적합도, 매개변수 효율성 측면에서 파라메트릭 PINN, HyperPINN, Sobolev 기반 다출력 벤치마크와 어떻게 비교되는가?
• RQ4 학습된 잠재 공간 z가 지배 매개변수 F0에 대해 선형화 가능하여 간단한 예측 매핑을 가능하게 하는가?
• RQ5 이 접근법이 Duffing 유사 시스템을 넘어서 다른 다-레짐 다이나믹 시스템으로 일반화되는가?

주요 결과

• TAPINN은 물리 잔여 0.082로 기본 모델 대비 물리적 일관성을 능가한다.
• TAPINN은 매개변수 8,003개를 사용하고 HyperPINN은 39,169개로 5배 적은 매개변수를 달성한다.
• HyperPINN은 데이터 MSE(0.281)가 최저이지만 물리 잔여(0.158)가 더 높아 물리 규정을 준수하지 않는 기억화 memorization으로 해석된다.
• 파라메트릭 베이스라인의 물리 잔여는 0.160이고 매개변수는 8,577개이며 데이터 MSE는 0.392이다.
• 멀티-출력 벤치마크의 물리 잔여는 0.192이고 데이터 MSE는 0.426이며 매개변수는 8,069개이다.
• 우리 방식은 멀티-출력 벤치마크에 비해 평균 그래디언트 노름이 2.14배 더 낮고 그래디언트 분산이 2.18배 더 작아 학습이 더 안정적임을 시사한다.