[論文レビュー] Stochastic Dimension-Free Zeroth-Order Estimator for High-Dimensional and High-Order PINNs

Zhangyong Liang, Ji Zhang|arXiv (Cornell University)|Mar 25, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

SDZE を紹介する、非常に高次元の PINN に対する誤差逆伝搬なしの zeroth-order 最適化アルゴリズム。CRNS で空間分散を打ち消し、暗黙の行列なしサブスペース射影を用いて次元に依存しないメモリと計算速度を実現し、単一 GPU で 10 百万次元の訓練を可能にする。

ABSTRACT

Physics-Informed Neural Networks (PINNs) for high-dimensional and high-order partial differential equations (PDEs) are primarily constrained by the $\mathcal{O}(d^k)$ spatial derivative complexity and the $\mathcal{O}(P)$ memory overhead of backpropagation (BP). While randomized spatial estimators successfully reduce the spatial complexity to $\mathcal{O}(1)$, their reliance on first-order optimization still leads to prohibitive memory consumption at scale. Zeroth-order (ZO) optimization offers a BP-free alternative; however, naively combining randomized spatial operators with ZO perturbations triggers a variance explosion of $\mathcal{O}(1/\varepsilon^2)$, leading to numerical divergence. To address these challenges, we propose the extbf{S}tochastic extbf{D}imension-free extbf{Z}eroth-order extbf{E}stimator ( extbf{SDZE}), a unified framework that achieves dimension-independent complexity in both space and memory. Specifically, SDZE leverages \emph{Common Random Numbers Synchronization (CRNS)} to algebraically cancel the $\mathcal{O}(1/\varepsilon^2)$ variance by locking spatial random seeds across perturbations. Furthermore, an \emph{implicit matrix-free subspace projection} is introduced to reduce parameter exploration variance from $\mathcal{O}(P)$ to $\mathcal{O}(r)$ while maintaining an $\mathcal{O}(1)$ optimizer memory footprint. Empirical results demonstrate that SDZE enables the training of 10-million-dimensional PINNs on a single NVIDIA A100 GPU, delivering significant improvements in speed and memory efficiency over state-of-the-art baselines.

研究の動機と目的

• バックプロパゲーションと導関数の複雑さに起因する高次元・高階 PINN のメモリと計算のボトルネックを解消する。
• 次元に依存しない空間とメモリ複雑さを実現する完全な zeroth-order 最適化フレームワークを提供する。
• Common Random Numbers Synchronization (CRNS) による ZO 推定の分散爆発を抑制する。
• 暗黙の行列なしサブスペース射影によってパラメータ探索の分散を O(P) から O(r) に削減し、射影行列を保存しない。
• 単一 GPU での高速化とメモリ効率の改善を伴う極めて大規模な PINN のスケーラビリティを示す。

提案手法

• 高次のバックプロパゲーションを回避するための unbiased な乱数オラクルとして空間演算子を定義する。
• 有限差分推定における空間分散を打ち消すために CRNS を適用する。
• 射影行列を保存せずにパラメータ探索の分散を O(P) から O(r) に削減する暗黙の行列なしサブスペース射影を導入する。
• 低ランクの層ごとの射影を維持するために退化的な lazy サブスペース更新を導入する。
• 大規模な摺動 perturbation 行列を実現的に生成せずに前向き計算を暗黙的に書き換え、O(1) の optimizer メモリを達成する。
• 二重の分散消去とサブスペース整合性の理論保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションなしで高次元・高階 PINN に対して次元に依存しない空間とメモリ複雑さをどう達成するか。
• RQ2 空間的およびパラメトリックな分散を打ち消すことで PDE に情報を与える訓練を zeroth-order 最適化で安定化できるか。
• RQ3 行列を使わないサブスペース制約付き摂動戦略は、分散とメモリ使用を削減しつつ表現力を維持できるか。
• RQ4 完全な前方のみのアプローチで極端に大規模な PINN（例：10 百万次元）を単一 GPU で訓練できるか。

主な発見

• SDZE は単一の NVIDIA A100 GPU 上で極めて高次元の PINN の訓練を可能にする。
• CRNS は zeroth-order の有限差分における O(1/ε^2) の空間分散を正確に打ち消す。
• 暗黙の行列なしサブスペース射影はパラメータ探索の分散を O(P) から O(r) に削減し、メモリのオーバーヘッドはわずか。
• 退化的な lazy サブスペース更新は直交射影ベースを QR マッピングで維持し、計算コストを制御する。
• このアプローチは最先端の一階微分ベース手法と比べて、速度とメモリ効率の顕著な改善をもたらす。
• 経験的結果は、完全に密結合で共有されていないアーキテクチャを用いて、最大で 10 百万次元の PINN の訓練に成功したことを示す。