[論文レビュー] Depth Separation for Neural Networks

Amit Daniely|arXiv (Cornell University)|Feb 27, 2017

Neural Networks and Applications被引用数 17

ひとこと要約

この論文は、球面上の特定の径数関数 $ f(x, x') = g(\langle x, x' \rangle) $ が、$ g $ が低次の多項式でよく近似できない場合、多項式サイズかつ指数的重みバウンドの深さ2ネットワークでは近似不可能であることを証明することで、2層および3層ニューラルネットワークの深さ分離を確立している。主な結果は、$ g(x) = \sin(\pi d^3 x) $ の場合、深さ2ネットワークは $ 2^{\Omega(d \log d)} $ 個のニューロンを必要とするが、深さ3ネットワークは多項式的幅で同様の関数を近似可能であることを示しており、一様分布下での表現力の明確な差を示している。

ABSTRACT

Let $f:\mathbb{S}^{d-1} imes \mathbb{S}^{d-1} o\mathbb{S}$ be a function of the form $f(\mathbf{x},\mathbf{x}') = g(\langle\mathbf{x},\mathbf{x}' angle)$ for $g:[-1,1] o \mathbb{R}$. We give a simple proof that shows that poly-size depth two neural networks with (exponentially) bounded weights cannot approximate $f$ whenever $g$ cannot be approximated by a low degree polynomial. Moreover, for many $g$'s, such as $g(x)=\sin(πd^3x)$, the number of neurons must be $2^{Ω\left(d\log(d) ight)}$. Furthermore, the result holds w.r.t.\ the uniform distribution on $\mathbb{S}^{d-1} imes \mathbb{S}^{d-1}$. As many functions of the above form can be well approximated by poly-size depth three networks with poly-bounded weights, this establishes a separation between depth two and depth three networks w.r.t.\ the uniform distribution on $\mathbb{S}^{d-1} imes \mathbb{S}^{d-1}$.

研究の動機と目的

• 一様分布下での $ \mathbb{S}^{d-1} \times \mathbb{S}^{d-1} $ 上で、深さ2と深さ3のニューラルネットワークの表現力の明確な分離を確立すること。
• 重みが有界な小規模な深さ2ネットワークが表現できない広範な関数クラス $ f(x, x') = g(\langle x, x' \rangle) $ を同定すること。
• 深さ2ネットワークに必要なニューロン数に対する強い下界を提示し、$ d \log d $ に指数的依存を示すことで、従来の $ d $ に指数的依存する境界を上回ること。
• 深さ3ネットワークがそのような関数を効率的に近似できることを示し、深さ3アーキテクチャに有利な分離を確立すること。

提案手法

• 球面上の調和解析を用い、特に次数 $ n $ の球面調和関数への射影を用いて近似誤差を分析する。
• $ \mu_d $ における測度下での $ L^2 $-距離を用い、$ A_{n,d}(f) $ を定義し、これは $ f $ から次数 $(n-1)$ 以下の多項式への最良近似誤差を表す。
• 任意の深さ2ネットワークと目的関数 $ F(x, x') = f(\langle x, x' \rangle) $ 間の $ L^2 $-距離に対する下界を、$ A_{n,d}(f) $ およびネットワークの幅・重みバウンドに依存する形で導出する。
• 既知のReLUによるリプシッツ関数近似結果（補題6）を応用し、幅と重みバウンドを制御した深さ3ネットワークを構築する。
• $ \mu_d $ が $ \mathbb{S}^{d-1} $ 上の一様測度を $ x \mapsto x_1 $ で押し出したものであるという事実を活用し、直交多項式理論の適用を可能にする。
• レジェンドル多項式およびその性質を用いて、高次元における $ f $ 及びその近似誤差の振る舞いを分析する。

実験結果

リサーチクエスチョン

• RQ1 多項式的サイズかつ指数的重みバウンドの深さ2ReLUネットワークは、球面上の径数関数 $ f(x, x') = g(\langle x, x' \rangle) $ を近似可能か？
• RQ2 重みが有界な深さ2ネットワークが、$ g $ が低次の多項式でよく近似されない関数を近似するために必要な最小のニューロン数はどの程度か？
• RQ3 多項式的幅かつ重みが有界な深さ3ネットワークは、同様の関数クラスを効率的に近似可能か？
• RQ4 一様分布下の $ \mathbb{S}^{d-1} \times \mathbb{S}^{d-1} $ は、2層および3層ネットワーク間の明確な深さ分離を支持するか？

主な発見

• $ g(x) = \sin(\pi d^3 x) $ の場合、重みが $ 2^d $ で有界な任意の深さ2ReLUネットワークの近似誤差は $ \frac{1}{50e^2\pi^2} $ 以上であり、$ 2^{\Omega(d \log d)} $ 個のニューロンを必要とする。
• 従来の研究が $ d $ に指数的依存を示したのに対し、本研究は $ d \log d $ に指数的依存を示すことで、より強い下界を確立している。
• この結果は、自然で対称的な定義域である $ \mathbb{S}^{d-1} \times \mathbb{S}^{d-1} $ 上の一様分布下でも成り立つ。
• 証明は短く、高次の道具（例：緩和分布）を用いずに、基本的な調和解析のみで構成されている。
• 一方、深さ3ReLUネットワークは、幅 $ \frac{16\pi d^5}{\epsilon} $、重みが $ 2\pi d^3 $ で有界な範囲で $ F(x, x') = f(\langle x, x' \rangle) $ を近似可能であり、効率的な表現力を示している。
• 本論文は、明確な深さ分離を確立した：特定の関数に対して、深さ2ネットワークは超多項式的サイズを必要とするが、深さ3ネットワークは多項式的サイズで同様の近似を達成できる。