[論文レビュー] On the Number of Linear Regions of Convolutional Neural Networks

Huan Xiong, Lei Huang+4 more|arXiv (Cornell University)|Jun 1, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用数 25

ひとこと要約

この論文は、ReLU畳み込みニューラルネットワーク（CNN）における線形領域の数に関する最初の理論的分析を提供し、1層CNNに対して正確な公式を導出し、より深いアーキテクチャに対しては境界を提示する。深層CNNはパラメータあたりの表現力が浅層ネットワークや全結合ネットワークよりも顕著に優れていることを示しており、実際の性能優位性を説明している。

ABSTRACT

One fundamental problem in deep learning is understanding the outstanding performance of deep Neural Networks (NNs) in practice. One explanation for the superiority of NNs is that they can realize a large class of complicated functions, i.e., they have powerful expressivity. The expressivity of a ReLU NN can be quantified by the maximal number of linear regions it can separate its input space into. In this paper, we provide several mathematical results needed for studying the linear regions of CNNs, and use them to derive the maximal and average numbers of linear regions for one-layer ReLU CNNs. Furthermore, we obtain upper and lower bounds for the number of linear regions of multi-layer ReLU CNNs. Our results suggest that deeper CNNs have more powerful expressivity than their shallow counterparts, while CNNs have more expressivity than fully-connected NNs per parameter.

研究の動機と目的

• 入力空間における線形領域の数を分析することで、深層畳み込みニューラルネットワーク（CNN）の表現力を理解すること。
• 既存の全結合ReLUネットワークにおける線形領域に関する研究を、畳み込み設定に拡張すること。
• 深さとアーキテクチャが、全結合ネットワークと比較してCNNの表現力に与える影響を定量化すること。
• 1層および多層ReLU CNNにおける線形領域の数に対する正確な式および境界式を確立すること。
• パラメータ設定のスケールを考慮した大規模なサンプリング実験を通じて、理論的結果の妥当性を検証すること。

提案手法

• 組合せ幾何学および超平面配置理論を用いて、1層ReLU CNNにおける最大および平均の線形領域数の正確な公式を導出する。
• Zaslavskyの定理を適用し、一般位置にある超平面が形成する領域数を、CNNの重みとバイアス構造に適合させた形で数える。
• 2×10⁹個の入力点におけるニューロン活性化の符号パターンを評価することで、多層CNNにおける線形領域を推定するサンプリングベースの手法を用いる。
• フィルタの相互作用、カーネルサイズ、特徴マップの次元を分析することで、多層ReLU CNNの上界および下界を確立する。
• 合成CNNを用いて、サンプリングによる領域数と理論的限界を比較することで、理論的境界の妥当性を検証する。
• ランダム重み初期化下での領域数の統計的期待値を含む分析を拡張し、1層CNNの場合に最大値と等価であることを示す。

実験結果

リサーチクエスチョン

• RQ1 1層ReLU CNNが入力空間を分割できる線形領域の正確な最大数は何か？
• RQ2 1層ReLU CNNにおける、ランダム重み初期化下での平均線形領域数は、最大数と比べてどの程度か？
• RQ3 深層ReLU CNNにおける線形領域数の理論的上界および下界は何か？
• RQ4 パラメータ数で正規化した場合、ReLU CNNの表現力は全結合ReLUネットワークと比べてどうか？
• RQ5 ネットワークパラメータの変化が、学習中または微小摂動下で線形領域数に与える影響は何か？

主な発見

• 1層ReLU CNNでは、超平面配置理論から導かれた正確な閉形式式により、最大線形領域数が与えられる。
• ランダム重み初期化下での領域数の期待値は、1層CNNの最大領域数と等しくなる。これは1層全結合ネットワークと一貫している。
• 多層ReLU CNNは、同じパラメータ数を持つ浅層ネットワークよりも指数関数的に多くの線形領域を達成しており、より高い表現力を示している。
• 深層CNNにおける理論的上界および下界は、深さが線形領域数を顕著に増加させることを示しており、表現力における深さの利点を確認している。
• サンプリング実験により理論的境界が妥当であることが検証され、1層および2層CNNにおいて、サンプリングで得られた領域数が理論的予測と密接に一致している。
• ReLU CNNは全結合ReLUネットワークよりもパラメータ1つあたりの表現力が高く、関数表現におけるアーキテクチャの効率性が示唆される。