[論文レビュー] Deep vs. shallow networks : An approximation theory perspective

H. N. Mhaskar, Tomaso Poggio|arXiv (Cornell University)|Aug 10, 2016

Neural Networks and Applications参考文献 22被引用数 13

ひとこと要約

この論文は、合成関数を近似する際、深層ネットワークが浅層ネットワークを上回る理由を理論的に確立する。相対次元というスパarsityの尺度を導入し、深層アーキテクチャの構造的優位性を捉える。ReLUやガウス活性化関数を用いる深層ネットワークは、次元の呪いを階層的合成性によって回避し、特定の高次元関数を浅層ネットワークよりも指数的に少ないパラメータで近似可能であることを証明する。

ABSTRACT

The paper briefy reviews several recent results on hierarchical architectures for learning from examples, that may formally explain the conditions under which Deep Convolutional Neural Networks perform much better in function approximation problems than shallow, one-hidden layer architectures. The paper announces new results for a non-smooth activation function - the ReLU function - used in present-day neural networks, as well as for the Gaussian networks. We propose a new definition of relative dimension to encapsulate different notions of sparsity of a function class that can possibly be exploited by deep networks but not by shallow ones to drastically reduce the complexity required for approximation and learning.

研究の動機と目的

• 深層畳み込みニューラルネットワーク（DCNN）が、関数近似タスクにおいて浅層ネットワークに比べて優れた近似性能を達成する理由を説明すること。
• 関数に内蔵された合成的構造を活用することで、深層ネットワークが次元の呪いを回避する条件を形式化すること。
• 深層ネットワークが活用可能だが浅層ネットワークが活用できない種々のスパarsityの形式を定量化する新しい尺度「相対次元」を導入し、その妥当性を裏付けること。
• 現代の深層学習の中心的役割を果たすReLUおよびガウス活性化関数に対する近似理論の結果を拡張すること。
• 確率的勾配降下法（SGD）の実験的成功を、合成関数の効率的近似と結びつけることで、理論的根拠を提供すること。

提案手法

• 深層ネットワークアーキテクチャ、特にResNetや畳み込み構造に類似したものをモデル化するため、有向非巡回グラフ（DAG）に基づく新しい理論枠組みを提案する。
• 最大インデグリが制限された（例えば2分木のような）DAGとして構造化された合成関数の概念を導入し、階層的合成による効率的近似を可能にする。
• 相対次元 $ D( ext{V}, ext{W}) = \limsup_{n\to\infty} \frac{\log d_n(\text{W})}{\log d_n(\text{V})} $ を定義する。ここで $ d_n $ は非線形 $ n $-幅を表し、深層ネットワークが浅層ネットワークに対して示す近似優位性を定量化する。
• ベルンシュタイン型不等式を適用し、$ \mathcal{B}_{\gamma,q} $（ReLU用）および $ \mathcal{G}\mathcal{B}_{\gamma} $（ガウスネットワーク用）で定義される関数クラスの近似誤差バウンドを導出。深層ネットワークの収束速度が速いことを示す。
• 多項式およびスプラインに基づく例を用いて、深層ネットワークが浅層ネットワークよりもはるかに少ないパラメータで高次元またはマルチスケール関数を表現可能であることを示す。
• 関数 $ Q(x_1,x_2,x_3,x_4) = (Q_1(Q_2(x_1,x_2), Q_3(x_3,x_4)))^{1024} $ のような例において、深層ネットワークは $ \mathcal{O}(n^{18}) $ パラメータで十分であるが、合成構造を持たない浅層ネットワークは $ \sim 1.17 \times 10^{13} $ パラメータを要する。

実験結果

リサーチクエスチョン

• RQ1 同じパラメータ数を有するにもかかわらず、なぜ深層ニューラルネットワークが特定の関数を浅層ネットワークよりも顕著に良く近似できるのか？
• RQ2 どのような関数の構造的性質が、深層ネットワークが近似において次元の呪いを回避できるのか？
• RQ3 関数クラスにおけるスパarsityの異なる概念を、深層ネットワークの優位性を説明するために形式的に定量化できるか？
• RQ4 ReLUおよびガウスネットワークの近似能力を、統一された枠組みで浅層ネットワークと理論的に境界づけ・比較できるか？
• RQ5 階層的関数合成（例：ハイエラルチカル関数合成）は、深層ネットワークによる効率的近似を可能にする役割を果たすのか？

主な発見

• ReLUまたはガウス活性化関数を用いる深層ネットワークは、合成関数を浅層ネットワークよりもはるかに少ないパラメータで近似可能であり、特に関数に階層的またはマルチスケール構造が内蔵されている場合に顕著である。
• 4変数の総次数4096のネストされた多項式関数に対して、浅層ネットワークは約 $ 1.17 \times 10^{13} $ パラメータを要するが、合成構造を活用する深層ネットワークは $ \mathcal{O}(n^{18}) $ パラメータで表現可能である。
• 相対次元 $ D(\mathcal{G}\mathcal{B}_{\gamma}, \mathcal{B}_{\gamma,q}) \leq d/q $ は、深層ネットワークの近似優位性を定量化する。ここで $ d $ は最大インデグリ、$ q $ は関数クラスの次元である。
• ガウスネットワーククラス $ \mathcal{G}\mathcal{B}_{\gamma} $ の非線形 $ n $-幅は $ \mathcal{O}(n^{-\gamma/(2d)}) $ に減少し、ReLUクラス $ \mathcal{B}_{\gamma,q} $ のそれは $ \mathcal{O}(n^{-\gamma/(2q)}) $ に減少する。$ d \ll q $ の場合、深層ネットワークがより速い収束速度を達成することが示される。
• ガウスネットワークに対して逆定理を証明し、近似誤差バウンドがタイトであることを示唆する。また、ReLUネットワークに対しても同様の結果が成り立つと予想する。
• 理論的枠組みにより、パラメータ数がネットワークの複雑さの最良指標ではないことが示される。代わりに、相対次元が、アーキテクチャの深さと合成的構造による真の効率的向上を捉えている。