[論文レビュー] Complexity Measures for Neural Networks with General Activation Functions Using Path-based Norms

Zhong Li, Chao Ma+1 more|arXiv (Cornell University)|Sep 14, 2020

Neural Networks and Applications参考文献 22被引用数 8

ひとこと要約

本稿では、一般の活性化関数をもつニューラルネットワークの複雑さを制御するため、2層ReLUネットワークによる近似を用いたパスベース正則化枠組みを導入する。この手法により、全パスおよび部分パスの寄与を統合した新たなパス正則化を導出し、2層ネットワークおよび深層残差ネットワークにおけるラデマッハ複雑度の上限と事前一般化誤差推定を可能にする。これは、従来のReLUのみに限った結果を、より広範な活性化関数へと拡張するものである。

ABSTRACT

A simple approach is proposed to obtain complexity controls for neural networks with general activation functions. The approach is motivated by approximating the general activation functions with one-dimensional ReLU networks, which reduces the problem to the complexity controls of ReLU networks. Specifically, we consider two-layer networks and deep residual networks, for which path-based norms are derived to control complexities. We also provide preliminary analyses of the function spaces induced by these norms and a priori estimates of the corresponding regularized estimators.

研究の動機と目的

• ReLUネットワークに限らない正則化に基づく複雑さの制御を、一般の活性化関数をもつニューラルネットワークへと拡張すること。
• パラメータ数に依存しない一貫性を保ち、過パラメータ化されたモデルにも適用可能な、複雑さの制御の統一枠組みを構築すること。
• 新しいパスベース正則化によって誘導される関数空間を同定し、正則化推定器の事前推定を導出すること。
• 有限パス正則化付きReLUネットワークによる1次元関数の近似の保証を確立すること。

提案手法

• 任意の一般の活性化関数を2層ReLUネットワークで近似し、元のネットワークをパラメータを増加させた同等のReLUネットワークに変換する。
• 標準パス正則化に加え、活性化関数の近似誤差を補償する項を含む、変更されたパスベース正則化を定義する。
• 2層ネットワークおよび深層残差ネットワークの両方について、新しいパスベース正則化を用いてラデマッハ複雑度の上限を導出する。
• 全パスだけでなく、中間層から出発するパスまでを含む、すべてのパスを考慮する修正された重み付きパス正則化を導入する。
• 被覆数およびラデマッハ複雑度の分析を用いて、正則化推定器の一般化誤差の上限を確立する。
• 1次元ReLUネットワークが有界パス正則化を持つ場合の近似能力を同定し、∫|f''(x)|(|x|+1)dx < ∞ を満たす関数がL∞(ℝ)で近似可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ReLUネットワークにおける正則化に基づく複雑さの測定は、一般の活性化関数へと拡張可能か？
• RQ2 一般の活性化関数をもつニューラルネットワークの複雑さを制御するパスベース正則化の構造はいかなるものか？
• RQ3 一般の活性化関数をReLUネットワークで近似することで、得られる複雑さの測定にどのような影響を与えるか？
• RQ4 新しいパスベース正則化によって誘導される関数空間はどのような性質を持ち、近似特性とどのように関係するか？
• RQ5 この新しい正則化に基づいて、正則化推定器の事前一般化誤差推定を導出可能か？

主な発見

• 一般の活性化関数を対象とした提案されたパスベース正則化は、2つの項から成る。1つは標準パス正則化、もう1つは活性化関数の近似誤差に起因する追加項であり、中間層から出発するすべてのパスを含む。
• 2層ネットワークでは、ラデマッハ複雑度が新しいパス正則化の定数倍で抑えられ、そのバインドは活性化関数の近似精度に依存する。
• 深層残差ネットワークでは、修正されたパス正則化により、正則化推定器の一般化誤差が期待値において有界になることが保証され、そのバインドはパラメータのノルムとデータ分布に依存する。
• 1次元関数が∫|f''(x)|(|x|+1)dx < ∞ を満たす場合、有界パス正則化付きReLUネットワークによりL∞(ℝ)で近似可能であり、パス正則化はこの積分の定数倍で抑えられる。
• 新しい正則化枠組みにより、パラメータ数に依存しない複雑さの制御が可能となり、過パラメータ化された状況における空虚なバインドを回避できる。
• 本手法により、ReLUから一般の活性化関数へと既存の結果を拡張した、正則化推定器の事前誤差推定が可能になる。