[論文レビュー] On the number of response regions of deep feed forward networks with piece-wise linear activations

Razvan Pascanu, Guido Montúfar+1 more|arXiv (Cornell University)|Dec 20, 2013

Advanced Memory and Neural Computing参考文献 17被引用数 126

ひとこと要約

この論文は、入力空間における線形領域（区分的線形関数の各領域）の数を数えることで、ReLU活性化関数を用いた深層順方向ネットワークの表現力の分析を行う。深層ネットワークは、同じパラメータ数を有する浅層ネットワークと比較して、特に深さが増すにつれて指数関数的に多くの線形領域を達成できることを示しており、階層的構成による複雑な関数のモデル化における根本的な優位性を示している。

ABSTRACT

This paper explores the complexity of deep feedforward networks with linear pre-synaptic couplings and rectified linear activations. This is a contribution to the growing body of work contrasting the representational power of deep and shallow network architectures. In particular, we offer a framework for comparing deep and shallow models that belong to the family of piecewise linear functions based on computational geometry. We look at a deep rectifier multi-layer perceptron (MLP) with linear outputs units and compare it with a single layer version of the model. In the asymptotic regime, when the number of inputs stays constant, if the shallow model has $kn$ hidden units and $n_0$ inputs, then the number of linear regions is $O(k^{n_0}n^{n_0})$. For a $k$ layer model with $n$ hidden units on each layer it is $Ω(\left\lfloor {n}/{n_0} ight floor^{k-1}n^{n_0})$. The number $\left\lfloor{n}/{n_0} ight floor^{k-1}$ grows faster than $k^{n_0}$ when $n$ tends to infinity or when $k$ tends to infinity and $n \geq 2n_0$. Additionally, even when $k$ is small, if we restrict $n$ to be $2n_0$, we can show that a deep model has considerably more linear regions that a shallow one. We consider this as a first step towards understanding the complexity of these models and specifically towards providing suitable mathematical tools for future analysis.

研究の動機と目的

• 深層ニューラルネットワークが浅層ネットワークよりも複雑な関数をどのようにより効率的に表現できるかを理解すること。
• ReLUのような区分的線形活性化関数を用いた深層順方向ネットワークの表現容量を定量化すること。
• 固定されたパラメータ予算下での深層と浅層アーキテクチャにおける線形領域の数を比較すること。
• 超平面配置に基づく幾何学的フレームワークを構築し、深層ネットワークの複雑さを分析すること。

提案手法

• 応答領域を分析するために、深層ReLUネットワークを区分的線形関数の合成としてモデル化すること。
• 入力空間における超平面配置によって形成される線形領域の数を数えるために、計算幾何学を用いること。
• 組み合わせ的和を用いて、浅層および深層アーキテクチャにおける線形領域の数の上界および下界を導出すること。
• 深さおよび幅に関する線形領域の増加率を比較するため、漸近的解析（Big-OおよびBig-Omega記法）を適用すること。
• 線形領域の数とパラメータ数の関係を評価し、表現効率を測定すること。
• 深層モデルは深さとともに線形領域の数が指数関数的に増加するが、浅層モデルは多項式的に増加することを確立すること。

実験結果

リサーチクエスチョン

• RQ1 同じパラメータ数を有する浅層ネットワークと比較して、深層ReLUネットワークの線形領域の数は、深さおよび幅に関してどのようにスケーリングされるか？
• RQ2 パラメータ数が固定された状態で、深層ネットワークは浅層ネットワークよりも指数的に多くの線形領域を達成できるか？
• RQ3 入力次元が固定されたReLUネットワークにおいて、線形領域の数と深さの関係は何か？
• RQ4 深層と浅層アーキテクチャにおいて、線形領域の数はパラメータ数の関数としてどのように増加するか？
• RQ5 深層ネットワークにおける階層的構成は、浅層ネットワークが達成できる範囲を超えて、表現能力をどの程度向上させるか？

主な発見

• 入力次元 $ n_0 $ が $ O(1) $ の浅層ネットワーク（$ kn $ 個の隠れユニット）では、線形領域の数は $ O(k^{n_0}n^{n_0}) $ である。
• 各層に $ n $ 個の隠れユニットを有する $ k $ 層の深層ネットワーク（$ n_0 $ 入力）では、$ n_0 = O(1) $ のとき、線形領域の数は $ \Omega\left(\left\lfloor\frac{n}{n_0}\right\rfloor^{k-1}n^{n_0}\right) $ である。
• $ n \geq 2n_0 $ のとき、$ n \to \infty $ または $ k \to \infty $ の極限で、深層モデルの領域数は浅層モデルのそれよりも速く増加する。
• $ n = 2n_0 $ のとき、わずかに大きな $ k $ に対しても、深層モデルは浅層モデルよりもはるかに多くの線形領域を有する。
• 線形領域数とパラメータ数の比は深さ $ k $ とともに指数関数的に増加し、深層モデルの優れた表現効率を示している。
• 深層モデルのパラメータ数は $ O(kn^2) $ であるのに対し、浅層モデルは $ O(kn) $ であるため、深層モデルはパラメータあたりの領域数がより多い。