[논문 리뷰] Soft Partition-based KAPI-ELM for Multi-Scale PDEs

Vikas Dwivedi, Monica Sigovan외 1명|arXiv (Cornell University)|2026. 01. 13.

Model Reduction and Neural Networks인용 수 0

한 줄 요약

이 논문은 Fourier 특징이나 역전파 없이 단일 선형 최소제곱 해를 사용하여 다스케일, 진동, 그리고 특이적으로 섭 perturb된 PDE를 적응적으로 해소하는 소프트 파티션 기반 Kernel-Adaptive PI–ELM (KAPI–ELM)을 제시합니다.

ABSTRACT

Physics-informed machine learning holds great promise for solving differential equations, yet existing methods struggle with highly oscillatory, multiscale, or singularly perturbed PDEs due to spectral bias, costly backpropagation, and manually tuned kernel or Fourier frequencies. This work introduces a soft partition--based Kernel-Adaptive Physics-Informed Extreme Learning Machine (KAPI-ELM), a deterministic low-dimensional parameterization in which smooth partition lengths jointly control collocation centers and Gaussian kernel widths, enabling continuous coarse-to-fine resolution without Fourier features, random sampling, or hard domain interfaces. A signed-distance-based weighting further stabilizes least-squares learning on irregular geometries. Across eight benchmarks--including oscillatory ODEs, high-frequency Poisson equations, irregular-shaped domains, and stiff singularly perturbed convection-diffusion problems-the proposed method matches or exceeds the accuracy of state-of-the-art Physics-Informed Neural Network (PINN) and Theory of Functional Connections (TFC) variants while using only a single linear solve. Although demonstrated on steady linear PDEs, the results show that soft-partition kernel adaptation provides a fast, architecture-free approach for multiscale PDEs with broad potential for future physics-informed modeling. For reproducibility, the reference codes are available at https://github.com/vikas-dwivedi-2022/soft_kapi

연구 동기 및 목표

• 다중척도(multiscale) 및 진동하는 PDE에 대한 PINN, Fourier 기반 PINN, 도메인 분해 방법 등의 기존 물리 기반 학습 접근법의 한계를 동기 부여하고 해결합니다.
• 공동으로 배치 중심과 가우시안 폭을 제어하는 결정론적 저차원 소프트 파티션 프레임워크를 제안하여 거칠은 해상도에서 미세한 해상도로의 전환을 가능하게 합니다.
• 불규칙 도메인에서 학습을 안정화하기 위한 기하학적 인식이 있는 부호 거리 기반 잔차 가중화를 소개합니다.
• 단일 선형 해를 이용해 진동성, 고주파, 불규칙 도메인 및 특이적으로 섭 perturb된 문제에 대해 높은 정확성을 달성함을 입증합니다.

제안 방법

• 파티션 길이가 배치 중심과 가우시안 커널 폭을 모두 결정하는 소프트 파티션 기반 샘플링 전략을 도입합니다.
• 1D 및 2D 샘플링 스킴을 파티션 길이 벡터로 정의하여 중심 배치와 커널 스케일을 결정적으로 설정합니다.
• 주어진 파티션 매개변수에 대해 PI–ELM 선형 시스템을 해를 닫힌 형태로 구하고 검증 목적에서 베이지안 최적화를 통해 파티션을 최적화합니다.
• 불규칙 경계 근처에서 학습을 안정화하기 위해 PDE 잔차에 부호거리 기반 가중화를 적용합니다.
• 더 좁은 커널(작은 파티션 길이를 통해)이 Fourier 특징 없이 고주파 표현력을 증가시킴을 설명합니다.
• 하나의 선형 최소제곱 해를 사용하고 역전파나 신경망 구조를 피합니다.

Figure 1: RBF spectral bandwidth induced by partition–adaptive sampling. Left: the proposed sampler generates a multimodal distribution of Gaussian widths $\sigma$ , including extremely small kernels. Right: corresponding Fourier magnitudes $\lvert\widehat{\phi}_{\sigma}(\omega)\rvert=\exp(-(\sigma\

실험 결과

연구 질문

• RQ1 결과적으로 Fourier 특징 매핑이나 도메인 경계면 페널티 없이도 결정론적 소프트 파_partition 스킴이 적응적 다스케일 해상도를 제공할 수 있는가?
• RQ2 파티션 길이가 중심 밀도와 커널 폭에 어떤 영향을 주어 고주파 및 경계층 구조를 포착하는가?
• RQ3 SDF 기반 잔차 가중화가 불규칙 기하학 및 고계 PDE에서 안정성과 정확도를 향상시키는가?
• RQ4 다중스케일 PDE에서 Soft Partition–based KAPI–ELM의 성능과 속도가 PINN 및 FBPINN 기반 대비 어떠한가?

주요 결과

방법	학습 비용	아키텍처 복잡도	고주파수 및 다스케일 테스트에서의 정확도
PINN	50,000 – 100,000 gradient steps; slow and unstable convergence	Single network; sensitive to depth, width, activations; often requires Fourier features	Fails for ω=15 ; large errors (10^{-2} – 10^{-3}); unstable on second-order ODEs
FBPINN	50,000 – 500,000 gradient steps depending on problem	20–30 subdomains; overlapping windows; multiple small networks per subdomain; handcrafted training schedules	Accurate but extremely expensive; sensitive to subdomain layout; best-case errors ~ 10^{-4}
Soft Partition KAPI–ELM	No backpropagation ; single least-squares solve ( ~ 0.1 s)	No neural architecture; few partition parameters; deterministic center and width placement	Near machine-precision accuracy (10^{-6} – 10^{-12}) on all tests; robust for oscillatory and stiff problems

• 8개 벤치마크에서 최첨단 PINN 및 TFC 변형과 동등하거나 그 이상한 정확도를 달성합니다.
• 1D 진동 및 다스케일 테스트에서 기계 정밀도에 근접한 정확도(10^{-6} ~ 10^{-12})를 달성합니다.
• 모든 테스트를 하나의 선형 최소제곱 해로 해결하며 그래디언트 기반 방법보다 훨씬 빠르게 수행됩니다(보고된 사례에서 약 0.1초).
• 파티션 기반 샘플링으로 유도된 다모드 분포의 가우시안 폭을 활용해 Fourier 없이 고주파 정확도를 제공합니다.
• SDF 가중 잔차는 불규칙 기하 및 고차 연산자에서 안정성을 높이고 경계 누수를 줄입니다.
• 불규칙 도메인 포아송 및 빗방향 문제에서 비교적 추가 계산 비용이 적게 들면서도 강한 성능을 보임을 시연합니다.

Figure 2: KAPI–ELM approximation and exact solution for $u^{\prime}(x)=\cos(15x)$ on $[-2\pi,2\pi]$ .