[論文レビュー] Benefits of depth in neural networks

Matus Telgarsky|arXiv (Cornell University)|Feb 14, 2016

Machine Learning and Algorithms参考文献 13被引用数 98

ひとこと要約

本論文は深さに基づく利点を証明する: 適度なサイズの深いネットワークが、指数的成長なしには浅いネットワークで近似できないという存在を、半代数ゲートとReLUベースのネットワークを用いて示している。

ABSTRACT

For any positive integer $k$, there exist neural networks with $Θ(k^3)$ layers, $Θ(1)$ nodes per layer, and $Θ(1)$ distinct parameters which can not be approximated by networks with $\mathcal{O}(k)$ layers unless they are exponentially large --- they must possess $Ω(2^k)$ nodes. This result is proved here for a class of nodes termed "semi-algebraic gates" which includes the common choices of ReLU, maximum, indicator, and piecewise polynomial functions, therefore establishing benefits of depth against not just standard networks with ReLU gates, but also convolutional networks with ReLU and maximization gates, sum-product networks, and boosted decision trees (in this last case with a stronger separation: $Ω(2^{k^3})$ total tree nodes are required).

研究の動機と目的

• 深いネットワークが、浅いネットワークが近似するのに苦労する高度に振動的な関数を表現できることを示す。
• 振動に基づくカウントが、半代数ゲートを用いた深いネットワークと浅いネットワークをどのように分離するかを示す。
• 畳み込みネットワーク、和乗ネットワーク、ブースト決定木などのアーキテクチャに深さ階層の知見を拡張する。

提案手法

• ReLUゲートを用いて、近似に多くの層を必要とする特定のターゲット関数を構築する。
• 一般的な活性化を含む半代数ゲートを定義・分析する（ReLU、最大、分段多項式など）。
• 振動（交差）回数を用いて、深さと関数の複雑さ・近位限界を結びつける。
• 層の合成と加算に伴う振動の境界を証明し、深さ分離の結果を導く。
• 制限されたサイズを持つ浅いネットでは深いターゲットを近似できないことを示すために、カウント/パッキングの議論を用いる。

実験結果

リサーチクエスチョン

• RQ1 深いニューラルネットワークが、浅いネットワークでは指数的なサイズなしには近似できない関数を理論的に表現できるか？
• RQ2 振動の成長と層の合成対加算が、アーキテクチャ全体の深さ分離にどう寄与するか？
• RQ3 深さに基づく分離は、半代数ゲートを用いるネットワークやCNN、和乗ネットワーク、ブースト木などのアーキテクチャにも拡張されるか？

主な発見

• 2k^3+8 層、総ノード数 3k^3+12、パラメータが4+d 個のネットワークが存在し、O(k) 層とサブ指数的ノード数を持つネットワークでは L1 誤差1/64以内に近似できない。
• より深いネットワークは浅いネットワークよりも指数的に多くの振動を生み出すことができ、非常に振動的なターゲット関数が浅い近似に抵抗することを可能にする。
• 半代数ゲートネットワークにも深さ分離が成り立つ。ReLUベース、最大ゲートCNN、および強いノード数条件（Ω(2^{k^3}) 総ノード）下のブースト決定木を含む。
• 関連結果は半代数ゲートネットワークのVC次元を制限パラメータで近似されにくいことを示し、多くのランダムラベリングは深いネットワークにはよく近似されない。