[論文レビュー] Why and When Can Deep -- but Not Shallow -- Networks Avoid the Curse of Dimensionality

Tomaso Poggio, H. N. Mhaskar+3 more|arXiv (Cornell University)|Nov 2, 2016

Neural Networks and Applications被引用数 6

ひとこと要約

この論文は、階層的・構成的構造を活用することで、深層ニューラルネットワークが特定の関数クラスに対して次元の呪いを克服できることを示している。これは、浅層ネットワークよりも指数的優位性を達成する。主な洞察は、深さが、重み共有がなくても、入れ子の再帰的依存関係を持つ関数の効率的表現を可能にすることにある。これは、実際の深層畳み込みネットワークが浅層ネットワークを上回る理由を説明する。

ABSTRACT

The paper characterizes classes of functions for which deep learning can be exponentially better than shallow learning. Deep convolutional networks are a special case of these conditions, though weight sharing is not the main reason for their exponential advantage.

研究の動機と目的

• 深層ネットワークが浅層ネットワークよりも指数的優位性を示す関数クラスを特定すること。
• 深さがパrameter数の単なる増加を超えて、表現的利点をもたらす構造的条件を分析すること。
• 畳み込みネットワークにおける重み共有がその成功の主因であるのか、それともより広範な原理の一例にすぎないのかを明確にすること。
• 浅層学習における指数的サンプル複雑性を回避する深層アーキテクチャの条件を形式化すること。

提案手法

• 著者らは、各層が単純な関数をより複雑な関数へと合成する階層的・構成的構造を持つ関数クラスを定義する。
• これらの関数を、いかなる浅層ネットワークよりも指数的に少ないパラメータで表現できる明示的な深層ネットワークアーキテクチャを構築する。
• 浅層ネットワークがこのような関数を近似するために必要なパラメータ数の下界を示す分析に依存する。
• 情報理論的および近似理論的議論を用いた証明技法により、浅層ネットワークが同じ精度に達するには指数的に多くのユニットを必要とすることを示す。
• この枠組みは、畳み込みに限らず、入れ子の依存関係を持つ関数に一般に適用可能である。
• 重み共有がなくても、深層ネットワークがこれらの関数クラスに対して指数的効率性を達成できることを示している。

実験結果

リサーチクエスチョン

• RQ1 どの関数クラスにおいて深層ネットワークが浅層ネットワークよりも指数的表現優位性を示すのか？
• RQ2 畳み込みネットワークにおける重み共有がその成功の根本的要因であるのか、それともより広範な原理の一例にすぎないのか？
• RQ3 重みの縛りがなくても、階層的構造を持つ関数に対して深層ネットワークは次元の呪いを回避できるのか？
• RQ4 どのような関数の構造的性質が、効率的な深層表現に適しているのか？

主な発見

• 深層ネットワークは、特定の階層的関数を、浅層ネットワークよりも指数的に少ないパラメータで表現できる。
• 指数的優位性は、重み共有そのものではなく、関数の構成的構造に起因する。
• 重み共有がなくても、入れ子の再帰的依存関係を持つ関数に対して、深層ネットワークは指数的効率性を達成できる。
• 浅層ネットワークは、同じ関数を近似するために指数的に多くのパラメータを必要とし、次元の呪いに陥る。
• 理論的結果は、重み共有が主因でない場合でも、深層畳み込みネットワークが実際の応用で有効である理由を説明する。
• これらの発見は、高次元関数近似における深層学習の経験的成功の形式的基盤を確立する。