[논문 리뷰] Stochastic Dimension-Free Zeroth-Order Estimator for High-Dimensional and High-Order PINNs

Zhangyong Liang, Ji Zhang|arXiv (Cornell University)|2026. 03. 25.

Model Reduction and Neural Networks인용 수 0

한 줄 요약

백프로파게이션 없이 초차원 PINN을 위한 제로차 순서 최적화 기법 SDZE를 도입하여 CRNS로 공간 분산을 상쇄하고 암시적 매트릭스-프리 서브스페이스 투영을 사용해 차원 무한대의 메모리와 속도를 달성하며, 단일 GPU에서 10-million 차원 training이 가능해진다.

ABSTRACT

Physics-Informed Neural Networks (PINNs) for high-dimensional and high-order partial differential equations (PDEs) are primarily constrained by the $\mathcal{O}(d^k)$ spatial derivative complexity and the $\mathcal{O}(P)$ memory overhead of backpropagation (BP). While randomized spatial estimators successfully reduce the spatial complexity to $\mathcal{O}(1)$, their reliance on first-order optimization still leads to prohibitive memory consumption at scale. Zeroth-order (ZO) optimization offers a BP-free alternative; however, naively combining randomized spatial operators with ZO perturbations triggers a variance explosion of $\mathcal{O}(1/\varepsilon^2)$, leading to numerical divergence. To address these challenges, we propose the extbf{S}tochastic extbf{D}imension-free extbf{Z}eroth-order extbf{E}stimator ( extbf{SDZE}), a unified framework that achieves dimension-independent complexity in both space and memory. Specifically, SDZE leverages \emph{Common Random Numbers Synchronization (CRNS)} to algebraically cancel the $\mathcal{O}(1/\varepsilon^2)$ variance by locking spatial random seeds across perturbations. Furthermore, an \emph{implicit matrix-free subspace projection} is introduced to reduce parameter exploration variance from $\mathcal{O}(P)$ to $\mathcal{O}(r)$ while maintaining an $\mathcal{O}(1)$ optimizer memory footprint. Empirical results demonstrate that SDZE enables the training of 10-million-dimensional PINNs on a single NVIDIA A100 GPU, delivering significant improvements in speed and memory efficiency over state-of-the-art baselines.

연구 동기 및 목표

• 역전파와 도함수 복잡도에 의해 야기되는 고차원·고차 PINN의 메모리 및 계산 병목을 해결한다.
• 차원에 독립적인 공간 및 메모리 복잡도를 달성하는 완전한 제로차수(zeroth-order) 최적화 프레임워크를 제공한다.
• CRNS(Common Random Numbers Synchronization)로 제로차 추정의 분산 폭발을 제거한다.
• 암시적 매트릭스-프리 서브스페이스 투영으로 매개변수 탐색 분산을 감소시킨다.
• 향상된 속도와 메모리 효율성으로 단일 GPU에서 매우 큰 PINN에 대한 확장성을 입증한다.

제안 방법

• 고차원 역전파를 우회하기 위해 무편향 무작위 오라클로 공간 연산자를 정의한다.
• 유한차 추정에서 공간 분산을 상쇄하기 위해 CRNS를 적용한다.
• 프로젝션 행렬을 저장하지 않고도 매개변수 탐색 분산을 O(P)에서 O(r)로 줄이기 위해 암시적 매트릭스-프리 서브스페이스 투영을 도입한다.
• 어닐된 lazy 서브스페이스 업데이트를 사용하여 저랭크의 계층별 투영을 유지한다.
• 큰 섭동 행렬을 표현하지 않도록 순전파를 암시적으로 재작성하여 최적화기 메모리를 O(1)로 달성한다.
• 이중 분산 소멸 및 서브스페이스 정렬에 대한 이론적 보장을 제공한다.

실험 결과

연구 질문

• RQ1 역전파 없이 고차원·고차 PINN에 대해 차원 무한대의 공간 및 메모리 복잡도를 달성할 수 있는가?
• RQ2 공간 및 매개변수 분산을 상쇄해 편미분방정식(PDE) 정보 기반 학습에서 제로차 최적화를 stabilize할 수 있는가?
• RQ3 매트릭스-프리, 서브스페이스 제약 섭동 전략이 분산 및 메모리 사용을 줄이면서 표현력을 유지하는가?
• RQ4 단일 GPU에서 완전한 순전파 방식으로 10-million 차원의 극단적 규모 PINN을 학습할 수 있는가?

주요 결과

• SDZE는 단일 NVIDIA A100 GPU에서 극도로 고차원의 PINN 학습을 가능하게 한다.
• CRNS는 제로차 유한 차분에서 O(1/ε^2) 공간 분산을 정확히 상쇄한다.
• 암시적 매트릭스-프리 서브스페이스 투영은 매개변수 탐색 분산을 O(P)에서 O(r)로 줄이고 메모리 오버헤드는 무시할 수 있을 정도이다.
• 어닐된 lazy 서브스페이스 업데이트는 QR 매핑으로 직교 투영 기저를 유지하며 계산 비용을 제어한다.
• 이 방법은 최첨단 1차 방법 대비 속도 및 메모리 효율성에서 상당한 개선을 보인다.
• 경험적 결과는 완전히 조밀하고 공유되지 않는 아키텍처로 최대 10-million 차원의 PINN 학습이 성공적으로 이뤄졌음을 보여준다.