[論文レビュー] Optimizing the optimizer for data driven deep neural networks and physics informed neural networks

John Taylor, Wenyi Wang+2 more|arXiv (Cornell University)|May 16, 2022

Model Reduction and Neural Networks被引用数 10

ひとこと要約

この論文は、小規模〜中規模の深層ニューラルネットワークおよび物理則に基づくニューラルネットワーク（PINNs）の学習に、1次および2次最適化手法（Adam、Levenberg-Marquardt（LM）、BFGS、L-BFGS）を評価する。LM最適化手法は、ハイパーパrameterのチューニングなしで機械精度にまで収束することを示し、平均二乗誤差（MSE）においてAdamを桁違いに上回る性能を発揮する。一方、AdamはLMの精度に追いつくために最大26倍のパラメータを必要とする。

ABSTRACT

We investigate the role of the optimizer in determining the quality of the model fit for neural networks with a small to medium number of parameters. We study the performance of Adam, an algorithm for first-order gradient-based optimization that uses adaptive momentum, the Levenberg and Marquardt (LM) algorithm a second order method, Broyden,Fletcher,Goldfarb and Shanno algorithm (BFGS) a second order method and LBFGS, a low memory version of BFGS. Using these optimizers we fit the function y = sinc(10x) using a neural network with a few parameters. This function has a variable amplitude and a constant frequency. We observe that the higher amplitude components of the function are fitted first and the Adam, BFGS and LBFGS struggle to fit the lower amplitude components of the function. We also solve the Burgers equation using a physics informed neural network(PINN) with the BFGS and LM optimizers. For our example problems with a small to medium number of weights, we find that the LM algorithm is able to rapidly converge to machine precision offering significant benefits over other optimizers. We further investigated the Adam optimizer with a range of models and found that Adam optimiser requires much deeper models with large numbers of hidden units containing up to 26x more parameters, in order to achieve a model fit close that achieved by the LM optimizer. The LM optimizer results illustrate that it may be possible build models with far fewer parameters. We have implemented all our methods in Keras and TensorFlow 2.

研究の動機と目的

• 主な最適化手法（Adam、LM、BFGS、L-BFGS）が小〜中規模のニューラルネットワークに与える性能を評価すること。
• 振幅が変動し周波数が一定な関数（例：y = sinc(10x)）への適合における最適化手法の適合度を調査すること。
• 物理則に基づくニューラルネットワーク（PINNs）における最適化手法の選択が、モデルの適合精度と収束速度に与える影響を評価すること。
• 2次最適化手法（例：LM）が1次最適化手法（例：Adam）よりも少ないパラメータ数で、より高いモデル精度を達成できるかどうかを検証すること。
• 高精度回帰を要する科学的機械学習応用分野における最適化手法選択の実用的意味を明らかにすること。

提案手法

• 20,000個の学習データポイントを用いて、20個の隠れユニットを持つ全結合フィードフォワードニューラルネットワークを、関数 y = sinc(10x) に適合させる。
• Adam、Levenberg-Marquardt（LM）、BFGS、L-BFGS最適化手法を用いて、平均二乗誤差（MSE）損失関数を最小化する。
• KerasおよびTensorFlow 2を用いて、すべての最適化手法を実装し、LMおよびBFGSのカスタム統合を実施した。
• Adamの性能向上を目的として、モデルアーキテクチャ（1〜4層の全結合層、16〜80個の隠れユニット）のグリッドサーチを実施した。
• 1次元Burgers方程式をPINNを用いて解くことで、PDE制約付き問題における性能をテストした。LMおよびBFGS最適化手法を用いた。
• 学習プロセスの進行をモニタリングし、sinc関数のさまざまな振幅成分がどの順序で学習されたかを分析した。

実験結果

リサーチクエスチョン

• RQ1 振幅が変動し周波数が一定な関数（例：y = sinc(10x)）をフィッティングする際、1次最適化手法（Adam）と2次最適化手法（LM、BFGS）は、どのように比較されるか？
• RQ2 Levenberg-Marquardt最適化手法は、ハイパーパrameterチューニングを一切行わずに、Adamよりも高速かつ高精度に収束するのか？
• RQ3 Adamが低振幅成分の学習に失敗する場合、その補償のためにモデルの深さや幅（層数・ユニット数）をどれほど増加させる必要があるか？
• RQ4 PINNを用いたBurgers方程式の解法において、LM最適化手法は他の最適化手法よりも高い精度を達成できるか？
• RQ5 小〜中規模のニューラルネットワークにおいて、LMを用いることでAdamに比べて顕著なパラメータ効率の向上が得られるか？

主な発見

• Levenberg-Marquardt（LM）最適化手法は、ハイパーパrameterチューニングなしで機械精度にまで収束し、平均二乗誤差（MSE）を1×10⁻⁸未満にまで低下させた。
• Adamは、4層モデルにおいて、MSEを1×10⁻⁶未満に抑えるために、LMの507対比で最大26倍（13,201）のパラメータを必要としたが、依然としてLMの性能に追いつかなかった。
• LM最適化手法は、sinc(10x)関数の高振幅および低振幅成分の両方を正確にフィッティングできる唯一の手法であり、Adam、BFGS、L-BFGSは低振幅領域で失敗した。
• Burgers方程式のPINNにおいて、LM最適化手法は、他の最適化手法を用いた既存の報告結果よりも高い精度を達成した。
• LM最適化手法は、急速に収束し、学習率やモーメンタムのチューニングを一切必要としなかった。一方、Adamは、広範なハイパーパrameter調整を要した。
• 本研究では、2次最適化手法（例：LM）が、特に科学的機械学習応用分野において、1次最適化手法（例：Adam）に比べてはるかに小型で効率的なモデルを実現可能であることを示した。