[论文解读] Is Deeper Better only when Shallow is Good?

Eran Malach, Shai Shalev‐Shwartz|arXiv (Cornell University)|Mar 8, 2019

Topic Modeling参考文献 18被引用 17

一句话总结

本文通過分析具有分層粗細結構的分形類數據分佈，研究了為何深度神經網絡比淺層網絡泛化能力更強。研究發現，當數據集中在細節部分時，基於梯度的優化方法會失敗——這正是深度網絡表達能力強大的地方，表明成功訓練取決於淺層網絡能否近似數據，而不僅僅是網絡深度本身。

ABSTRACT

Understanding the power of depth in feed-forward neural networks is an ongoing challenge in the field of deep learning theory. While current works account for the importance of depth for the expressive power of neural-networks, it remains an open question whether these benefits are exploited during a gradient-based optimization process. In this work we explore the relation between expressivity properties of deep networks and the ability to train them efficiently using gradient-based algorithms. We give a depth separation argument for distributions with fractal structure, showing that they can be expressed efficiently by deep networks, but not with shallow ones. These distributions have a natural coarse-to-fine structure, and we show that the balance between the coarse and fine details has a crucial effect on whether the optimization process is likely to succeed. We prove that when the distribution is concentrated on the fine details, gradient-based algorithms are likely to fail. Using this result we prove that, at least in some distributions, the success of learning deep networks depends on whether the distribution can be well approximated by shallower networks, and we conjecture that this property holds in general.

研究动机与目标

• 理解深度在深度學習中提升泛化能力的原因，超越單純的表達能力。
• 研究函數近似中的深度分離是否能轉化為梯度下降下的成功訓練。
• 分析數據分佈結構（特別是分形類、粗細分層結構）在決定優化成功中的作用。
• 提出並驗證一個假設：無法被淺層網絡近似的數據分佈，即使使用深度架構也難以學習。
• 通過實驗證明，數據在層次結構中分佈的近似曲線決定了在分形數據上的訓練成功。

提出的方法

• 使用具有自相似性和分層結構的迭代函數系統（IFS）定義分形分佈。
• 引入「近似曲線」概念，以量化數據在分形的粗粒度與細粒度層次中的分佈。
• 證明淺層網絡需指數級更多的參數才能高精度近似具有高深度的分形分佈，從而確立深度分離。
• 使用基於梯度的優化方法（Adam 和 SGD）在具有不同近似曲線的合成分形數據集上訓練深度與淺層網絡。
• 測量不同網絡深度、寬度和分佈類型下的泛化性能（測試準確率）。
• 將近似曲線的形狀（粗粒度與細粒度集中）與優化成功或失敗相關聯。

实验结果

研究问题

• RQ1 在何種條件下，深度能提供超越表達能力的泛化優勢？
• RQ2 即使存在強烈的深度分離（淺層網絡無法表達），該分佈是否仍能通過梯度下降學習？
• RQ3 數據在分層結構中（粗粒度與細粒度細節）的分佈如何影響優化成功？
• RQ4 淺層網絡對數據分佈的可近似性與深度網絡的可學習性之間是否存在根本聯繫？
• RQ5 數據結構——特別是分形自相似性——是否影響基於梯度的方法訓練深度網絡的能力？

主要发现

• 當數據分佈集中在分形的細節部分時，即使深度網絡具有強大的表達優勢，基於梯度的優化仍會失敗，無法訓練深度網絡。
• 對於近似曲線呈「粗粒度」特徵（粗粒度層次佔主導）的分佈，使用 SGD 訓練的深度網絡可實現接近零的測試誤差，並展現明顯的深度效率。
• 近似曲線具有決定性影響：當數據集中在細節部分時，即使網絡寬度足夠，深度網絡性能也會顯著下降。
• 在 2D Cantor 集、Pentaflake、Vicsek 和 Sierpinsky 三角形分形上的實驗表明，僅當近似曲線為粗粒度時，才會觀察到深度分離現象。
• 在 Sierpinsky 三角形（三映射 IFS）中，當網絡足夠寬時，近似曲線的影響會減弱，表明低複雜度分形即使分佈形狀不同也較易學習。
• 本研究提供了實驗與理論證據，支持該假設：無法被淺層網絡近似的數據分佈，即使使用深度架構，也難以通過基於梯度的方法學習。