[论文解读] Depth-Width Trade-offs for Neural Networks via Topological Entropy

Kaifeng Bu, Yaobo Zhang+1 more|arXiv (Cornell University)|Oct 15, 2020

Neural Networks and Applications参考文献 23被引用 6

一句话总结

本文建立了深度神经网络表达能力与动力系统中拓扑熵之间的新联系。它推导出具有 $ l $ 层和每层 $ m $ 个神经元的 ReLU 网络的拓扑熵上界为 $ O(l/\log m) $，并证明了基于函数拓扑熵的 $ L^\infty $-逼近所需网络规模的指数下界，揭示了基于熵的复杂度度量下的深度-宽度权衡。

ABSTRACT

One of the central problems in the study of deep learning theory is to understand how the structure properties, such as depth, width and the number of nodes, affect the expressivity of deep neural networks. In this work, we show a new connection between the expressivity of deep neural networks and topological entropy from dynamical system, which can be used to characterize depth-width trade-offs of neural networks. We provide an upper bound on the topological entropy of neural networks with continuous semi-algebraic units by the structure parameters. Specifically, the topological entropy of ReLU network with $l$ layers and $m$ nodes per layer is upper bounded by $O(l\log m)$. Besides, if the neural network is a good approximation of some function $f$, then the size of the neural network has an exponential lower bound with respect to the topological entropy of $f$. Moreover, we discuss the relationship between topological entropy, the number of oscillations, periods and Lipschitz constant.

研究动机与目标

• 建立深度神经网络表征能力与动力系统中拓扑熵之间的理论联系。
• 使用拓扑熵作为复杂度度量，量化神经网络中的深度-宽度权衡。
• 基于函数的拓扑熵，推导出近似该函数所需的神经网络规模的指数下界。
• 探讨连续函数中拓扑熵、振荡次数、周期与利普希茨常数之间的关系。
• 通过拓扑不变量为理解深度学习中的泛化性与逼近复杂度提供理论基础。

提出的方法

• 将拓扑熵用作连续函数的复杂度度量，通过开覆盖和最小子覆盖基数的增长率进行定义。
• 应用 Adler-Konheim-McAndrew 的拓扑熵定义，分析神经网络函数的复杂度。
• 利用激活单元的半代数结构，推导出具有 $ l $ 层和每层 $ m $ 个神经元的 ReLU 网络的拓扑熵上界为 $ O(l \log m) $。
• 建立一个 ReLU 网络在 $ L^\infty $-逼近函数 $ f $ 时所需规模的下界，表明宽度 $ m $ 必须满足 $ m = \exp(\Omega(h_{\text{top}}(f)/l)) $。
• 分析迭代函数利普希茨常数的渐近行为，并利用次可加性和基于变差的表征方法，将其与拓扑熵联系起来。
• 利用拓扑熵在 $ L^\infty $-收敛下的下极限连续性，推导出 $ L^\infty $-逼近中网络规模的指数下界。

实验结果

研究问题

• RQ1 拓扑熵如何作为深度神经网络可表示函数的复杂度度量？
• RQ2 在深度 $ l $ 和宽度 $ m $ 的条件下，ReLU 网络的拓扑熵上界是什么？
• RQ3 为 $ L^\infty $-逼近给定函数 $ f $，所需 ReLU 网络的最小规模是多少，其与 $ f $ 的拓扑熵有何关系？
• RQ4 在连续函数中，拓扑熵、振荡次数、周期与利普希茨常数之间存在何种关系？
• RQ5 能否利用拓扑熵在 $ L^\infty $-收敛下的下极限连续性，证明网络规模的指数下界？

主要发现

• 具有 $ l $ 层和每层 $ m $ 个神经元的 ReLU 网络的拓扑熵上界为 $ O(l \log m) $。
• 对于任意函数 $ f $，在 $ l $ 层下，为 $ L^\infty $-逼近 $ f $ 所需的 ReLU 网络宽度 $ m $ 满足 $ m = \exp(\Omega(h_{\text{top}}(f)/l)) $，表明其在函数拓扑熵上存在指数下界。
• 极限 $ \lim_{k\to\infty} \frac{1}{k} \log_2 L(f^k) $ 存在且至少为 $ h_{\text{top}}(f) $，其中 $ L(f^k) $ 是函数 $ f $ 的第 $ k $ 次迭代的利普希茨常数。
• 若 $ f $ 是分段单调的且 $ L(f^k) \geq 1 $，则 $ L(f^k) \geq 2^{k h_{\text{top}}(f)} $，表明当拓扑熵为正时，利普希茨常数呈指数增长。
• 函数 $ f $ 的拓扑熵满足 $ h_{\text{top}}(f) = \lim_{k\to\infty} \frac{1}{k} \log_2 \text{Var}(f^k) $，其中 $ \text{Var}(f^k) $ 是第 $ k $ 次迭代的变差。
• 拓扑熵在 $ L^\infty $-收敛下的下极限连续性是证明 $ L^\infty $-逼近中网络规模指数下界的關鍵要素。