[論文レビュー] Multi-stage Neural Networks: Function Approximator of Machine Precision

Yongji Wang, Ching‐Yao Lai|arXiv (Cornell University)|Jul 18, 2023

Model Reduction and Neural NetworksPhysics and Astronomy被引用数 3

ひとこと要約

本稿では、逐次的に前段階の残差に基づいて別個のネットワークを訓練する多段階ニューラルネットワーク（MSNN）を提案する。これにより、倍精度浮動小数点演算における関数近似が機械精度（約10^{-16}）に達する。残差の大きさが逆べき乗則に従って段階的に減少することで、スペクトルバイアスを克服し、回帰および物理情報付きニューラルネットワーク（PINN）において機械精度に近い精度を達成する。

ABSTRACT

Deep learning techniques are increasingly applied to scientific problems, where the precision of networks is crucial. Despite being deemed as universal function approximators, neural networks, in practice, struggle to reduce the prediction errors below $O(10^{-5})$ even with large network size and extended training iterations. To address this issue, we developed the multi-stage neural networks that divides the training process into different stages, with each stage using a new network that is optimized to fit the residue from the previous stage. Across successive stages, the residue magnitudes decreases substantially and follows an inverse power-law relationship with the residue frequencies. The multi-stage neural networks effectively mitigate the spectral biases associated with regular neural networks, enabling them to capture the high frequency feature of target functions. We demonstrate that the prediction error from the multi-stage training for both regression problems and physics-informed neural networks can nearly reach the machine-precision $O(10^{-16})$ of double-floating point within a finite number of iterations. Such levels of accuracy are rarely attainable using single neural networks alone.

研究の動機と目的

• 大規模かつ長時間の訓練を経ても予測誤差が10^{-5}未満に抑えられない深層ニューラルネットワークの根本的限界に対処すること。
• 高周波成分の捉えにくさを引き起こす標準的ニューラルネットワークにおけるスペクトルバイアスを克服すること。
• 倍精度算術における機械精度（O(10^{-16}）に収束可能な訓練フレームワークを開発すること。
• 科学的計算における偏微分方程式（PDE）の解法および逆問題に、この手法を拡張すること。
• 反復ごとに一貫した収束と誤差低減を保証する体系的で段階的な訓練プロトコルを提供すること。

提案手法

• 訓練プロセスを複数の段階に分け、各段階で前段階の残差誤差に基づいて新たなニューラルネットワークを訓練する。
• PINNに対して、データ損失、方程式損失、滑らかさ制約を組み合わせた多段階損失関数を用いる。
• 残差周波数に対して残差の大きさが逆べき乗則に従って減少することを記述するモデルを適用する。
• 特異点の解析のため、自己相似座標変換を組み込み、爆発時刻付近での高分解能な解析を可能にする。
• 解の物理的対称性を保証するため、奇対称ニューラルネットワークアーキテクチャを採用する。
• 特異点や不連続点などの重要な点付近で、方程式の残差に対して適応的コロケーションサンプリングを実装する。

実験結果

リサーチクエスチョン

• RQ1 多段階訓練により、ニューラルネットワークの予測誤差をO(10^{-5})未満に低下させ、機械精度O(10^{-16})に近づけますか？
• RQ2 残差の大きさは段階を経てどのように減少するでしょうか？また、残差周波数に対して予測可能な逆べき乗則に従いますか？
• RQ3 多段階フレームワークは、スペクトルバイアスを効果的に軽減し、ターゲット関数の高周波成分を捉えることができますか？
• RQ4 特異点や滑らかでない解を伴うPDEを解く物理情報付きニューラルネットワークに、この手法をどのように拡張できますか？
• RQ5 高次導関数の不連続性を検出することで、滑らかな解（例：バーガーズ方程式のλ = 0.5）を信頼性高く特定できますか？

主な発見

• 多段階ニューラルネットワークは、予測誤差がO(10^{-16})にまで低下し、倍精度浮動小数点演算における機械精度に近づく。
• 段階を経るごとの残差の大きさは、残差周波数に対して逆べき乗則に従って減少しており、体系的な誤差低減を示している。
• 標準的ネットワークが大規模な幅と長時間の訓練を経ても近似できない高周波成分を、本手法は効果的に捉えている。
• 自己相似バーガーズ方程式を解く物理情報付きニューラルネットワークにおいて、本手法は方程式残差の3階微分における不連続性を検出することで、λ = 0.5における滑らかな解を特定した。
• 方程式残差の3階微分に基づく滑らかさ制約を組み込むことで、ネットワークは滑らかでない解と滑らかな解を区別できるようになった。
• 多段階アプローチは、すべての段階において高い収束速度を維持しており、標準的訓練で見られる停滞（プラトー）行動を回避した。