[論文レビュー] Spline parameterization of neural network controls for deep learning

Stefanie Günther, Will Pazner+1 more|arXiv (Cornell University)|Feb 27, 2021

Model Reduction and Neural Networks参考文献 21被引用数 4

ひとこと要約

この論文では、各層の重みではなくBスプライン基底関数を用いてネットワーク制御をパrameter化する神経ODEフレームワークであるSpliNetを提案する。層ごとのパrameterではなくスプライン係数を学習することで、少ない可学習パラメータ数で安定かつ高精度な順方向伝搬が実現され、ハイパーパrameterに対する感受性が低減し、モデルの複雑さを増さずに適応的時間ステッピングが可能になる。

ABSTRACT

Based on the continuous interpretation of deep learning cast as an optimal control problem, this paper investigates the benefits of employing B-spline basis functions to parameterize neural network controls across the layers. Rather than equipping each layer of a discretized ODE-network with a set of trainable weights, we choose a fixed number of B-spline basis functions whose coefficients are the trainable parameters of the neural network. Decoupling the trainable parameters from the layers of the neural network enables us to investigate and adapt the accuracy of the network propagation separated from the optimization learning problem. We numerically show that the spline-based neural network increases robustness of the learning problem towards hyperparameters due to increased stability and accuracy of the network propagation. Further, training on B-spline coefficients rather than layer weights directly enables a reduction in the number of trainable parameters.

研究の動機と目的

• 標準的な残差ネットワークおよび神経ODEネットワークにおける不安定さとハイパーパラメータへの高い感受性を解消すること。
• ネットワークダイナミクスの離散化と制御関数のパラメータ化を分離すること。
• Bスプラインに基づく制御パラメータ化により、学習のロバストネスを向上させ、可学習パラメータ数を削減すること。
• モデルの複雑さを増さずに適応的時間ステッピングおよび高次ODEソルバを可能にすること。
• 高精度を要する科学的機械学習応用に適したより安定的で正確なフレームワークを提供すること。

提案手法

• 制御関数θ(t)をBスプライン基底関数でパラメータライズする：θ(t) = ΣαₗBₗ^d(t)，ここでαₗは学習可能な係数である。
• 各層の重みWiとバイアスbiを固定されたスプライン係数αₗの集合に置き換え、パラメータ化と層数の分離を実現する。
• 時間離散化されたODEソルバ（例：前進オイラー法）を用いて、層固有のパラメータに依存しない時間点tᵢにおける状態x(t)を伝搬する。
• 損失ℓ(x(T), y_data) + γ∫₀ᵀR(θ(t))dtを最小化するようにスプライン係数αₗを最適化することでネットワークを学習する。
• Bスプラインの階層的および局所的サポート特性を活用し、マルチグリッドまたはマルチレベル学習戦略への統合を検討する。
• 再学習なしに任意の時間点でスプラインに基づく制御を評価することで、適応的時間ステッピングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 神経ネットワークの制御関数にBスプラインパラメータ化を適用することで、学習の安定性とハイパーパラメータに対する感受性が向上するか？
• RQ2 スプライン基底関数による可学習パラメータ数の削減が、モデルの精度を維持または向上させるか？
• RQ3 スプラインベースのネットワークは、パラメータ数を減らしても、標準的なResNetやODE-netアーキテクチャと同等またはそれ以上の性能を達成できるか？
• RQ4 Bスプラインの次数の選択が、学習された制御の性能および滑らかさに与える影響は何か？
• RQ5 スプラインベースのフレームワークは、パラメータ数を増やさずに適応的時間ステッピングおよび高次ODEソルバをサポートできるか？

主な発見

• スプラインベースのネットワーク（SpliNet）は、MNISTで98.8％の精度を達成し、平均および中央値の精度において標準的なResNetやODE-netを上回り、標準偏差も低かった。
• 10sin(3x)の学習において、SpliNetは固定時間スケールλ=3でも高い精度を維持したが、標準ネットワークは予測限界に制約を受けていた。
• 一次Bスプライン（ハット関数）を用いることで、標準的なODEまたはResNetネットワークよりもはるかに少ない可学習パラメータ数で安定した学習と高い性能が達成された。
• ネットワークの深さ、学習率、初期化に対する感受性が低く、ハイパーパラメータ選択に対するより高いロバストネスを示した。
• 時間ステップサイズやネットワークの深さに関係なく、可学習パラメータ数は一定のままであり、モデルの複雑さを増さずに高解像度での安定した順方向伝搬が可能になった。
• スプライン制御が時間区間全体にわたり定義されているため、フレームワークは自然に適応的時間ステッピングおよび高次ODEソルバをサポートしており、任意の点で制御を評価可能である。