[論文レビュー] Rational neural networks

Nicolas Boullé, Yuji Nakatsukasa+1 more|arXiv (Cornell University)|Jan 1, 2020

Model Reduction and Neural Networks参考文献 52被引用数 7

ひとこと要約

この論文は、トレーニング可能な有理関数を活性化関数として使用する深層学習モデルである有理ニューラルネットワークを導入し、平滑関数を近似する際にReLUネットワークと比較して指数的に小さい深さと少ないパラメータで実現できることを示している。理論的分析と実験の両方から、滑らかで微分可能かつ表現力に富んだ活性化関数のおかげで、有理ネットワークは近似効率が優れており、PDEソルバーやGANにおいて収束が速く、性能が向上することが明らかになった。

ABSTRACT

We consider neural networks with rational activation functions. The choice of the nonlinear activation function in deep learning architectures is crucial and heavily impacts the performance of a neural network. We establish optimal bounds in terms of network complexity and prove that rational neural networks approximate smooth functions more efficiently than ReLU networks with exponentially smaller depth. The flexibility and smoothness of rational activation functions make them an attractive alternative to ReLU, as we demonstrate with numerical experiments.

研究の動機と目的

• ReLU活性化関数の限界、例えば消失勾配や滑らかな関数の近似が不十分であるという点を是正すること。
• 深層ニューラルネットワークにおける有理関数を活性化関数として用いる理論的および実用的利点を調査すること。
• 有理ネットワークが、同じ近似精度を達成するためにはReLUネットワークと比較して指数的に小さい深さと少ないパラメータで実現できることを実証すること。
• 最適化と一般化を向上させる、実用的でトレーニング可能かつ滑らかな活性化関数を設計すること。

提案手法

• 本論文は、活性化関数としてF(x) = P(x)/Q(x)という形の低次の有理関数を用いる有理ニューラルネットワークを提案する。分子および分母の係数はトレーニング可能である。
• 理論的境界を確立し、与えられた精度に対して、有理ネットワークがReLUネットワークと比較して指数的に小さい深さで滑らかな関数を近似できることを示している。
• 低次の有理関数の合成を用いて高次の有理近似を構築し、表現力を保ちつつパラメータ数を最小限に抑える。
• 標準的な最適化手法（例：L-BFGS、Adam）を用いてネットワークを訓練する。有理活性化関数は安定な学習を確保するため、ReLUを近似するように初期化される。
• TensorFlowとKerasを用いて、PDEソルバーやGANにおける全結合層および畳み込み層に有理活性化関数を実装する。
• 有理関数は、ReLUを最もよく近似する係数を用いて初期化され、安定した学習と改善された収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 滑らかな関数に対して、有理活性化関数はReLUネットワークよりも優れた近似効率を提供できるか？
• RQ2 滑らかな関数を近似する際、有理ネットワークの理論的深さとサイズの複雑さは、ReLUネットワークと比較してどの程度か？
• RQ3 トレーニング可能な有理活性化関数は、深層学習モデルにおける最適化と収束にどのように影響するか？
• RQ4 PDEソルバーやGANといった実用的応用において、有理ネットワークはReLUベースのモデルを上回ることができるか？
• RQ5 さまざまな深層学習タスクに最適な有理活性化関数の次数と種別は何か？

主な発見

• 理論的境界により、滑らかな関数をある精度で近似するため、有理ニューラルネットワークはReLUネットワークと比較して指数的に小さい深さで十分であることが証明された。
• 理論的分析により、滑らかな関数に対して近似誤差ϵを達成するためのネットワークサイズがO(ϵ−d/n log(log(1/ϵ)))であることが示された。
• KdV方程式ソルバーにおいて、(3,2)活性化関数を備えた有理ネットワークは、10,000回のL-BFGS反復後、近似誤差0.00125を達成した。一方、ReLUネットワークは0.05であった。
• MNISTデータセットにおけるGANでは、(3,2)活性化関数を備えた有理ネットワークは20エポック後、検証損失が約10^3に低下した。一方、ReLUネットワークはそれより高い値であった。さらに、生成画像の質も向上していた。
• 全テスト対象の有理ネットワーク（2,2）、（3,2）、（4,3）、（5,4）は、PDEおよびGANの両実験でReLUネットワークを上回った。特に（3,2）はパラメータ数と精度のバランスが良く、良好なトレードオフを示した。
• 滑らかでトレーニング可能な有理活性化関数の使用により、訓練および検証損失が低下し、収束が速くなり、一般化性能が向上した。両ベンチマークで明確にその効果が確認された。