[論文レビュー] On the approximation of the solution of partial differential equations by artificial neural networks trained by a multilevel Levenberg-Marquardt method

Henri Calandra, Serge Gratton+2 more|arXiv (Cornell University)|Apr 9, 2019

Model Reduction and Neural Networks参考文献 49被引用数 4

ひとこと要約

本稿では、偏微分方程式（PDE）の解の近似に用いる順方向型ニューラルネットワークを学習するためのマルチレベルLevenberg-Marquardt法を提案する。PDEの残差を損失関数とする最小二乗最適化問題として問題を定式化し、移行演算子に代数的多重グリッド（AMG）にインspiredしたヒューリスティックな階層構造を導入することで、標準の一レベル学習と比較して、解の精度を損なわずに収束速度を向上させるとともに、計算コストを低減（浮動小数点演算数を最大2倍まで削減）する。

ABSTRACT

This paper is concerned with the approximation of the solution of partial differential equations by means of artificial neural networks. Here a feedforward neural network is used to approximate the solution of the partial differential equation. The learning problem is formulated as a least squares problem, choosing the residual of the partial differential equation as a loss function, whereas a multilevel Levenberg-Marquardt method is employed as a training method. This setting allows us to get further insight into the potential of multilevel methods. Indeed, when the least squares problem arises from the training of artificial neural networks, the variables subject to optimization are not related by any geometrical constraints and the standard interpolation and restriction operators cannot be employed any longer. A heuristic, inspired by algebraic multigrid methods, is then proposed to construct the multilevel transfer operators. Numerical experiments show encouraging results related to the efficiency of the new multilevel optimization method for the training of artificial neural networks, compared to the standard corresponding one-level procedure.

研究の動機と目的

• 高次元または高非線形性を示すPDEに対する人工ニューラルネットワーク（ANN）の学習の課題に取り組むこと。標準的な最適化手法では収束が遅く、計算コストが高いためである。
• PDEの解法に通常用いられる多重グリッドの原則を、ANNの学習に応用するため、最適化問題の階層を構築すること。
• ANNの重みに幾何的構造がない状況下で、代数的多重グリッド（AMG）手法にインspiredしたヒューリスティックな方法により、マルチレベルの移行演算子を定義する。
• マルチレベル最適化が、PDE解の近似において、収束速度と計算効率の点で標準的一レベルLevenberg-Marquardt（LM）学習を上回るかどうかを評価すること。
• ANN学習に生じる非幾何的で大規模な最小二乗問題に、マルチレベル最適化を適用可能かどうかを検討すること。

提案手法

• PDEの解の近似に順方向型ニューラルネットワークを用い、PDEの残差を非線形最小二乗問題における損失関数として用いる。
• 訓練問題は、収束を加速するために粗い最適化問題の階層を活用するマルチレベルLevenberg-Marquardt（MLM）法で解く。
• 幾何的制約がない中で、細かいネットワーク重み空間と粗い空間との間のマッピングを可能にするために、代数的多重グリッド（AMG）にインspiredしたヒューリスティックな移行演算子の構築法を提案する。
• 本手法は1次元および2次元のPDE、特にHelmholtz方程式や非線形楕円型方程式を対象とし、ネットワークの幅やPDEパラメータを変化させて評価した。
• 反復回数、RMSE、計算コスト（浮動小数点演算数）の観点から、MLM法と標準的一レベルLevenberg-Marquardt（LM）法の性能を比較した。
• 本手法は、ODEや逆問題を含め、解がニューラルネットワークで表現される他の最小二乗問題に対しても一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 従来、PDEの解法に用いられるマルチレベル最適化技術を、PDE解の近似に用いるANNの学習に効果的に適応できるか？
• RQ2 最適化変数（ネットワーク重み）に幾何的構造がない場合、効果的なマルチレベル移行演算子をどのように構築できるか？
• RQ3 提案されたマルチレベルLevenberg-Marquardt法は、PDE関連の学習問題において、標準的一レベル法と比較して収束が速く、計算コストも低くなるか？
• RQ4 特に複雑または高次元のPDEに対して、マルチレベルアプローチは、一レベル学習と比較して解の精度をどの程度維持できるか？
• RQ5 本手法は、より深いまたは多層構造のニューラルネットワークに拡張可能か？また、非線形性の増加に伴って生じる課題は何か？

主な発見

• ほとんどのテストケースにおいて、マルチレベルLevenberg-Marquardt（MLM）法は一レベル法よりも反復回数が少なかった。特に非線形性が強い問題（例：ν=20）で顕著であった。
• 一部のケースでは反復回数が増加したが、MLM法は1次元問題では最大5.3倍、2次元問題では1.8倍の浮動小数点演算数を削減し、平均で約2倍の改善を達成した。
• 解の平均二乗誤差（RMSE）は、MLM法と一レベル学習の間で同等であり、ν=20では10⁻⁵、ν=1では10⁻³の水準に保たれた。精度の損失は認められなかった。
• ディリクレ境界条件を伴う2次元Helmholtz方程式では、200回未満の反復で妥当な近似が得られた。さらに反復を増やしても精度の向上が見られなかった。
• 異なるPDEタイプやネットワークサイズにわたり、本手法は頑健であった。特に、より高いネットワーク幅（r=2⁹）を要する複雑な問題において、性能向上が顕著に現れた。
• 幾何的制約がない中で、代数的多重グリッドの原則に基づくヒューリスティックな移行演算子の構築法が、機能的なマルチレベル階層を構築するのに有効であった。