[論文レビュー] On the Number of Linear Regions of Deep Neural Networks

Guido Montúfar, Razvan Pascanu+2 more|arXiv (Cornell University)|Feb 8, 2014

Neural Networks and Applications参考文献 21被引用数 571

ひとこと要約

この論文は、ReLU や maxout などの区分線形活性化関数を備えた深層順方向型ニューラルネットワークの表現能力を、関数が入力空間をいくつの線形領域に分割できるかを数えることで分析している。深層ネットワークは、同じパラメータ数を持つ浅層ネットワークよりも指数関数的に多くの線形領域を達成できることを示しており、階層的な特徴再利用と合成を通じて、複雑で構造的な関数をモデル化する際の深さの根本的利点を明らかにしている。

ABSTRACT

We study the complexity of functions computable by deep feedforward neural networks with piecewise linear activations in terms of the symmetries and the number of linear regions that they have. Deep networks are able to sequentially map portions of each layer's input-space to the same output. In this way, deep models compute functions that react equally to complicated patterns of different inputs. The compositional structure of these functions enables them to re-use pieces of computation exponentially often in terms of the network's depth. This paper investigates the complexity of such compositional maps and contributes new theoretical results regarding the advantage of depth for neural networks with piecewise linear activation functions. In particular, our analysis is not specific to a single family of models, and as an example, we employ it for rectifier and maxout networks. We improve complexity bounds from pre-existing work and investigate the behavior of units in higher layers.

研究の動機と目的

• 区分線形活性化関数を備えた深層ニューラルネットワークの表現的複雑性を理解すること。
• 深さがネットワーク関数が入力空間を分割する線形領域の数をどのように増加させるかを定量化すること。
• 整流器および maxout ネットワークの線形領域数に対する理論的上限を確立すること。
• 深層ネットワークが階層的な層の積み重ねによって低レベルの計算を指数関数的に再利用できることを示すこと。
• 畳み込みアーキテクチャを含む、さまざまな区分線形ネットワークに適用可能な一般化されたフレームワークを提供すること。

提案手法

• 区分線形活性化関数が誘発する入力空間の分割を分析し、ネットワーク出力がアフィン関数として表現される線形領域に注目する。
• 幾何学的および組合せ論的議論を用いて、層の幅、深さ、活性化関数の種別に基づき線形領域数の上限を導出する。
• 超平面およびボロノイ図の配置に関する結果を応用し、領域数の上界および下界を求める。
• 具体的なネットワーク構成（例：並行な超平面、maxout ユニット）を構築することで、領域数に対するタイトな下界を達成する。
• 各層が入力の近傍を共有される出力に写像する様子をモデル化することで、深層ネットワークへの分析を拡張し、計算の指数的再利用を可能にする。
• ランク-$k$ のユニットが入力空間内の $k$ 個の錐に対応することを関係づけ、maxout ネットワークの理論的上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 区分線形活性化関数を備えた深層ニューラルネットワークの線形領域数は、深さと幅が増加するにつれてどのように変化するか？
• RQ2 ReLU や maxout ユニットを備えた深層ネットワークが計算可能な線形領域の最大数は何か？
• RQ3 同じパラメータ数を持つ浅層ネットワークと比較して、深層ネットワークの線形領域数はどのように異なるか？
• RQ4 深層ネットワークにおける階層的合成は、表現的複雑性をどのように指数関数的に増加させるか？
• RQ5 同じ理論的フレームワークを、max-pooling および ReLU ユニットを備えた畳み込みネットワークに適用可能か？

主な発見

• 幅 $n_0$ の $L$ 層の深層整流器ネットワークは、少なくとも $2^{n_0 L}$ 個の線形領域を持つ関数を計算でき、深さに伴い指数関数的に増加する。
• 幅 $n_0$、ランク $k$、$L$ 層の maxout ネットワークは、少なくとも $k^{L-1} k^{n_0} = k^{n_0 L}$ 個の線形領域を持つ関数を計算でき、深さおよびランクに伴い指数関数的に増加する。
• 深層ネットワークの線形領域数は、同じパラメータ数を持つ浅層ネットワークよりも指数関数的に速く増加する。
• 1層の maxout ネットワーク（$n$ 入力、$m$ 出力、ランク $k$）の下界は $k^{ ext{min}egin{Bmatrix}n,m\end{Bmatrix}}$ であり、複雑性のタイトなベースラインを提供する。
• このフレームワークは畳み込みネットワークにも適用可能である：max-pooling および ReLU ユニットは再帰的にパッチを特定し、入力空間に指数関数的な数の線形領域を生じさせる。
• ネットワークのパrameter空間は、関数が特定の数の線形領域を持つ領域に分割されており、パrameterと関数の複雑性の間には構造的な関係があると示唆している。