[論文レビュー] Representation Benefits of Deep Feedforward Networks

Matus Telgarsky|arXiv (Cornell University)|Sep 27, 2015

Neural Networks and Applications参考文献 5被引用数 141

ひとこと要約

この論文は、深層フィードフォワードReLUネットワークが、浅層ネットワークが少なくとも1/6の誤差に陥るのを防ぐために、指数的に少ないパラメータで特定の分類問題をゼロ誤差で解けることを示している。2^k個の等間隔に配置された点でラベルが交互に並ぶ問題（n-ap）の族を構築し、2ノードの再帰的ネットワークが2k層で完全分類を達成するのに対し、浅層ネットワークはこの性能を再現するためには指数的に多くのノードを必要とする。

ABSTRACT

This note provides a family of classification problems, indexed by a positive integer $k$, where all shallow networks with fewer than exponentially (in $k$) many nodes exhibit error at least $1/6$, whereas a deep network with 2 nodes in each of $2k$ layers achieves zero error, as does a recurrent network with 3 distinct nodes iterated $k$ times. The proof is elementary, and the networks are standard feedforward networks with ReLU (Rectified Linear Unit) nonlinearities.

研究の動機と目的

• 深層フィードフォワードネットワークが、浅層ネットワークが失敗する特定の問題において完全分類を達成できることを示すこと。
• ラベルが交互に並ぶ明確な分類問題を用いて、表現力における深さの指数的優位性を定量化すること。
• 再帰的ネットワークでさえも少数のパラメータで同様の問題に対してゼロ誤差を達成できることを示し、アーキテクチャの効率性を強調すること。
• 階段関数の解析と関数の複雑さに関する数え上げ的議論を用いて、表現優位性の素朴な証明を提供すること。
• 結果をニューラルネットワークの表現力、回路複雑性、統計的学習理論の広範なテーマと結びつけること。

提案手法

• 区間[0,1]に等間隔に配置された2^k個の点と、ラベルが交互に並ぶn-alternating-point（n-ap）問題を構築する。
• 各点x_iをそのラベルy_iに正確に写像する区分的アフィン関数f_m^kを、2ノードのReLUネットワークの反復的合成により構成する。
• σがt-階段関数である場合、mノード/層、l層の任意の浅層ネットワークが、高々(t m)^l個の階段領域を生成できることを証明する。
• 数え上げ的議論を適用：t-階段関数は1/2を高々2t回しか通過できないため、急激に変化するラベルを正確に再現する能力に制限が生じる。
• f_m^kが2^k-階段関数であることを用い、すべての2^k個の点を正しく分類できることを示す。
• 再帰的ネットワークf_m^k ∈ R(σ_r;2,2;k)がゼロ誤差を達成する一方、指数的に多くのノードを必要としない浅層ネットワークでは達成できないことを確立する。

実験結果

リサーチクエスチョン

• RQ1 深層フィードフォワードネットワークは、浅層ネットワークが本質的に制限を受ける問題において、ゼロ分類誤差を達成できるか？
• RQ2 構造化された分類問題において、深層ネットワークの性能を再現するために浅層ネットワークに必要な最小ノード数はどの程度か？
• RQ3 パラメータ効率性という観点から、再帰的ネットワークの表現力は標準的フィードフォワードネットワークと比べてどの程度か？
• RQ4 階段関数の性質が、浅層ネットワークの分類誤差にどの程度制限を及えるか？
• RQ5 構造化データにおける正確な分類を達成する際、深さ、幅、パラメータ数の間の定量的トレードオフは何か？

主な発見

• 2^k個の交互点問題において、2k層にそれぞれ2ノードを有する深層ネットワークがゼロ分類誤差を達成する。
• mノード/層、l層の任意の浅層ネットワークは、n = 2^kとして、分類誤差が少なくとも(n - 4(2m)^l)/(3n)に制限されることを示す。
• m ≤ 2^{(k-3)/l - 1}のとき、浅層ネットワークの最小誤差はkが増大しても1/6以上に保たれることを示す。
• 2ノード/層の再帰的ネットワークがk回繰り返されると、同じ問題に対してゼロ誤差を達成する。
• 浅層ネットワークが生成する関数における領域数（階段部品数）は(t m)^lで上限が与えられ、急激に変化するラベルを正確に再現する能力に制限が生じる。
• 結果として、パラメータ効率性において指数的分離が示された：浅層ネットワークはゼロ誤差を達成するため、深層または再帰的ネットワークよりも指数的に多くのノードを必要とする。