[論文レビュー] Why and When Can Deep -- but Not Shallow -- Networks Avoid the Curse of Dimensionality: a Review

Tomaso Poggio, H. N. Mhaskar+3 more|arXiv (Cornell University)|Nov 2, 2016

Neural Networks and Applications参考文献 47被引用数 16

ひとこと要約

この論文は、深層ニューラルネットワークが、各関数が入力の小さな局所的サブセットに作用する合成関数—特に階層的局所的関数—において次元の呪いを回避できることを示している。浅層ネットワークとは異なり、深層アーキテクチャは階層的構造を活用することで指数的近似効率を達成し、各層での局所性が鍵となる。重み共有ではなく、局所性がその要因である。

ABSTRACT

The paper characterizes classes of functions for which deep learning can be exponentially better than shallow learning. Deep convolutional networks are a special case of these conditions, though weight sharing is not the main reason for their exponential advantage.

研究の動機と目的

• 深層ネットワークが浅層ネットワークよりも指数的優位性を示す数学的関数クラスを特定すること。
• 深層学習アーキテクチャが高次元関数近似において浅層ネットワークを上回る理由を明確にすること。
• 局所性と階層性が深層ネットワークが次元の呪いを回避できるメカニズムとして果たす役割を調査すること。
• 重み共有か、アーキテクチャ上の局所性のどちらが深層ネットワークの効率性の主因であるかを特定すること。
• 視覚などにおける深層畳み込みネットワークの実験的成功を理論的根拠で裏付けること。

提案手法

• 各関数が小さな有界次元の入力に作用する局所関数の階層的合成によって定義される関数クラスを特徴づけること。
• 近似理論を用いて、浅層ネットワークと深層ネットワークがそのような関数を近似するために必要なサンプル複雑度とネットワークの深さを比較すること。
• 深層ReLUネットワークと浅層ネットワークの線形領域の数と表現能力を分析すること。
• 深層ネットワークが階層的局所的合成関数を、浅層ネットワークよりも指数的に少ないパラメータで近似できることを示す理論的境界を確立すること。
• 指数的優位性が重み共有ではなく、階層的合成と局所的関数の合成から生じることを示すこと。
• 再帰的および合成的関数表現を用いて、深層ネットワークの動作を単純な局所的変換の系列としてモデル化すること。

実験結果

リサーチクエスチョン

• RQ1 どの関数クラスにおいて深層ネットワークが浅層ネットワークよりも指数的近似優位性を示すか？
• RQ2 なぜ深層畳み込みネットワークは画像認識のような高次元タスクで浅層ネットワークよりも優れているのか？
• RQ3 深層畳み込みネットワークの成功の主な要因は重み共有なのか、それとも他のアーキテクチャ的性質なのか？
• RQ4 階層的合成性は深層ネットワークの表現効率とどのように関係しているか？
• RQ5 学習される関数の構造を通じて、深層学習の成功を理論的に正当化できるか？

主な発見

• 深層ネットワークは、各関数が小さな局所的入力サブセットに作用する階層的局所的合成関数において、次元の呪いを回避できる。
• 浅層ネットワークは、同じクラスの合成関数を近似するため、深層ネットワークよりも指数的に多くのパラメータを必要とする。
• 深層ネットワークの指数的優位性は、重み共有ではなく、階層的合成と局所性に起因する。
• 深層ネットワークは、低次元の局所関数の合成である関数を表現できることで、指数的効率を達成する。
• 深層ReLUネットワークの線形領域の数は、深さに伴い指数的に増加し、浅層ネットワークに比べて優れた表現能力を実現する。
• 重み共有がなくても、関数が階層的局所的である限り、深層畳み込み型アーキテクチャは指数的近似利得を達成できる。