[論文レビュー] Understanding Deep Neural Networks with Rectified Linear Units

Raman Arora, Amitabh Basu+2 more|arXiv (Cornell University)|Nov 4, 2016

Machine Learning and Algorithms参考文献 33被引用数 127

ひとこと要約

本論文は ReLU DNN を分析し、連結な部分線形関数との正確な対応を証明するとともに、1 隠れ層ネットワークの多項式時間グローバル最適化手法を提示し、ゾノトープを用いた深さ・サイズの下界およびアフィン部分の指数的増加を確立する。

ABSTRACT

In this paper we investigate the family of functions representable by deep neural networks (DNN) with rectified linear units (ReLU). We give an algorithm to train a ReLU DNN with one hidden layer to *global optimality* with runtime polynomial in the data size albeit exponential in the input dimension. Further, we improve on the known lower bounds on size (from exponential to super exponential) for approximating a ReLU deep net function by a shallower ReLU net. Our gap theorems hold for smoothly parametrized families of "hard" functions, contrary to countable, discrete families known in the literature. An example consequence of our gap theorems is the following: for every natural number $k$ there exists a function representable by a ReLU DNN with $k^2$ hidden layers and total size $k^3$, such that any ReLU DNN with at most $k$ hidden layers will require at least $\frac{1}{2}k^{k+1}-1$ total nodes. Finally, for the family of $\mathbb{R}^n o \mathbb{R}$ DNNs with ReLU activations, we show a new lowerbound on the number of affine pieces, which is larger than previous constructions in certain regimes of the network architecture and most distinctively our lowerbound is demonstrated by an explicit construction of a *smoothly parameterized* family of functions attaining this scaling. Our construction utilizes the theory of zonotopes from polyhedral theory.

研究の動機と目的

• ReLU DNN が表現する関数クラスと、それが分割直線関数（ピースワイズリニア）とどのように関連するかを特徴づける。
• 深さと幅が表現力と表現能力にどのように影響するかを理解する。
• 特定の関数に対して深さが指数的/超指数的な利得をもたらすことを示す下界を確立する。
• ReLU DNN におけるアフィン部分の数を達成または上向きに制限する構成を提供する。
• ReLU DNN の表現力を多面体幾何学（ゾノトープ）および既知の近似結果と結びつける。

提案手法

• すべての ReLU DNN が連続な部分線形関数を計算し、かつ任意の連続 PWL 関数が深さが ceil(log2(n+1))+1 以下の ReLU DNN で表現できることを示す。
• 最大演算を表現し、凸部分を DNN 内で合成することの構成的証明を提供する。
• 深さ-サイズのトレードオフを導出し、浅いネットワークと深いネットワークを分離する滑らかにパラメータ化された困難関数の族を構築する。
• ゾノトープとその支持関数を用いてアフィン部分の数を上限付け、証明可能な複雑さの差を持つ困難関数族を構築する。
• 明示的な定理（例：Theorem 2.1、Theorem 2.3、Theorem 3.1、Corollaries 3.3–3.4）および補題を提示する。

実験結果

リサーチクエスチョン

• RQ1 ReLU DNN が表現できる関数のクラスは何か、そしてそれが分割直線関数とどう関連するか？
• RQ2 深さと幅は表現力と特定の関数を表現するために必要なサイズにどのように影響するか？
• RQ3 ReLU ネットワークの深さ/サイズのギャップを示す滑らかにパラメータ化された困難関数族を構築できるか。
• RQ4 ReLU DNN におけるアフィン部分の数の下界はどの程度か、ゾノトープはこれらの下界にどう寄与するか？

主な発見

• ReLU DNN は正確に連続な部分線形関数を計算し、かつそのような関数は深さが ceil(log2(n+1))+1 以下の ReLU DNN で表現できる（Theorem 2.1）。
• n=1 のとき、p 区間の部分線形関数は最大 p 個のノードを持つ 2 層 DNN で表現でき、かつそのような DNN は少なくとも p-1 ノードを必要とする（Theorem 2.2）。
• R^n 上の任意の Lq (1≤q≤∞) 関数は、深さが ceil(log2(n+1))+1 以下の ReLU DNN によって任意に良く近似できる（Theorem 2.3）。
• 滑らかにパラメータ化された R→R の困難関数の族があり、幅 w の (k+1) 層 ReLU DNN で表現されるが、浅いネットワーク（≤k 層）ではサイズが概ね (1/2) k' w^{k/k'} - 1 以上でなければならない（Theorem 3.1）。
• 特定の R^n→R ReLU DNN においてアフィン部分の数が入力次元の指数関数的に増加する下界がある（Theorem 3.2 および関連する corollaries）。
• これらの結果は、滑らかなパラメータ化とゾノトープに基づく構成を用いることで、超指数的な深さ–サイズのギャップを提供し、先行の深さ分離研究を強化する（Corollaries 3.3–3.4; Theorem 3.5）。