[論文レビュー] Is Deeper Better only when Shallow is Good?

Eran Malach, Shai Shalev‐Shwartz|arXiv (Cornell University)|Mar 8, 2019

Topic Modeling参考文献 18被引用数 17

ひとこと要約

この論文は、階層的な粗-細構造をもつフラクタル的データ分布を分析することで、深層ニューラルネットワークが浅層ネットワークよりも一般化性能が優れている理由を調査する。勾配最適化が、深層ネットワークが強力な表現力を持つ細部にデータが集中している場合に失敗することを示しており、成功した学習は単に深さに依存するのではなく、浅層ネットワークがデータを近似できるかどうかにかかっていることを示唆している。

ABSTRACT

Understanding the power of depth in feed-forward neural networks is an ongoing challenge in the field of deep learning theory. While current works account for the importance of depth for the expressive power of neural-networks, it remains an open question whether these benefits are exploited during a gradient-based optimization process. In this work we explore the relation between expressivity properties of deep networks and the ability to train them efficiently using gradient-based algorithms. We give a depth separation argument for distributions with fractal structure, showing that they can be expressed efficiently by deep networks, but not with shallow ones. These distributions have a natural coarse-to-fine structure, and we show that the balance between the coarse and fine details has a crucial effect on whether the optimization process is likely to succeed. We prove that when the distribution is concentrated on the fine details, gradient-based algorithms are likely to fail. Using this result we prove that, at least in some distributions, the success of learning deep networks depends on whether the distribution can be well approximated by shallower networks, and we conjecture that this property holds in general.

研究の動機と目的

• 表現力以上の観点から、深さが深層学習における一般化を改善する理由を理解すること。
• 関数近似における深さの分離が勾配降下による成功学習にどのように関連するかを調査すること。
• 特にフラクタル的で粗-細構造を示すデータ分布の構造が最適化の成功に与える影響を分析すること。
• 浅層ネットワークでは近似できない分布は、深層アーキテクチャでさえも学習が困難であるという仮説を提示・検証すること。
• 2次元カントール集合、ペンタフラクタル、ビクゼック、シエルピンスキー三角形などのフラクタルデータ上で、階層の各レベルにおけるデータの分布（近似曲線）が学習成功に与える影響を実証的に示すこと。

提案手法

• 自己相似性と階層的構造を持つ反復関数系（IFS）を用いてフラクタル分布を定義する。
• フラクタルの粗いレベルと細かいレベルにおけるデータの分布を定量化するための「近似曲線」の概念を導入する。
• 高さが大きいフラクタル分布を近似するには浅層ネットワークが指数関数的に多くのパラメータを必要とすることを証明し、深さによる表現力の分離を確立する。
• AdamおよびSGDを用いた勾配ベース最適化を用いて、近似曲線が異なる合成フラクタルデータセット上で深層および浅層ネットワークを学習する。
• 異なるネットワークの深さ、幅、分布タイプにおける一般化性能（テスト精度）を測定する。
• 近似曲線の形状（粗い部分や細かい部分への集中）と最適化の成功・失敗の相関関係を分析する。

実験結果

リサーチクエスチョン

• RQ1 表現力以上の観点から、深さが一般化性能に優位をもたらす条件は何か？
• RQ2 浅層ネットワークでは表現不可能な強い深さの分離を示す分布でも、勾配降下法によって学習可能か？
• RQ3 階層的レベルにおけるデータの分布（粗い部分 vs 細かい部分）が最適化の成功にどのように影響するか？
• RQ4 浅層ネットワークによる近似可能性と、深層ネットワークによる学習可能性の間に根本的な関連性があるか？
• RQ5 特にフラクタル的自己相似性を持つデータ構造が、勾配ベース手法による深層ネットワークの学習能力に影響を与えるか？

主な発見

• データ分布がフラクタルの細部に集中している場合、表現力の分離が顕著であっても、勾配ベース最適化は深層ネットワークの学習に失敗する。
• 近似曲線が「粗い」（粗いレベルに重みが集中）分布の場合は、SGDで学習された深層ネットワークがほぼゼロのテスト誤差を達成し、明確な深さの効率性を示す。
• 近似曲線の形状が決定的である：データが細部に集中している場合、十分な幅があっても深層ネットワークの性能は著しく劣る。
• 2次元カントール集合、ペンタフラクタル、ビクゼック、シエルピンスキー三角形の実験により、深さの分離が観察されるのは近似曲線が粗い場合に限ることが確認された。
• 3マッピングIFSを用いたシエルピンスキー三角形では、十分な幅があれば近似曲線の影響が薄れるため、低複雑性のフラクタルは分布の形状に関係なく学習が容易であることが示唆された。
• 本研究は、浅層ネットワークで近似できない分布は、勾配ベース手法ですら本質的に学習が困難であるという仮説を、実証的および理論的根拠をもって支持している。