[论文解读] An Analysis of the Expressiveness of Deep Neural Network Architectures Based on Their Lipschitz Constants

Siqi Zhou, Angela P. Schoellig|arXiv (Cornell University)|Dec 24, 2019

Neural Networks and Applications参考文献 18被引用 6

一句话总结

本文通过其Lipschitz常数分析深度神经网络（DNNs）的表达能力，利用随机矩阵理论表明，当权重充分分散时，Lipschitz常数——因此表达能力——随深度呈指数增长，随宽度呈多项式增长。主要贡献是提出一种理论基础坚实、可推广的表达能力度量方法，适用于各种激活函数，对设计稳定的学习型控制系统的应用具有启示意义。

ABSTRACT

Deep neural networks (DNNs) have emerged as a popular mathematical tool for function approximation due to their capability of modelling highly nonlinear functions. Their applications range from image classification and natural language processing to learning-based control. Despite their empirical successes, there is still a lack of theoretical understanding of the representative power of such deep architectures. In this work, we provide a theoretical analysis of the expressiveness of fully-connected, feedforward DNNs with 1-Lipschitz activation functions. In particular, we characterize the expressiveness of a DNN by its Lipchitz constant. By leveraging random matrix theory, we show that, given sufficiently large and randomly distributed weights, the expected upper and lower bounds of the Lipschitz constant of a DNN and hence their expressiveness increase exponentially with depth and polynomially with width, which gives rise to the benefit of the depth of DNN architectures for efficient function approximation. This observation is consistent with established results based on alternative expressiveness measures of DNNs. In contrast to most of the existing work, our analysis based on the Lipschitz properties of DNNs is applicable to a wider range of activation nonlinearities and potentially allows us to make sensible comparisons between the complexity of a DNN and the function to be approximated by the DNN. We consider this work to be a step towards understanding the expressive power of DNNs and towards designing appropriate deep architectures for practical applications such as system control.

研究动机与目标

• 开发一种适用于多种激活函数的通用、可解释的DNN表达能力度量方法。
• 理解架构深度与宽度如何影响全连接前馈DNN的Lipschitz常数。
• 通过基于Lipschitz的分析，将DNN表达能力与学习型控制系统的稳定性联系起来。
• 评估在理论分析中假设权重服从高斯分布，在实际DNN中的有效性。
• 为安全关键应用（如系统控制）中的DNN架构设计提供指导原则。

提出的方法

• 作者将全连接DNN建模为使用1-Lipschitz激活函数和i.i.d.高斯权重矩阵的网络。
• 应用随机矩阵理论，推导DNN的Lipschitz常数的期望上界和下界。
• 利用Bai-Yin定律估计随机矩阵的奇异值极值，以估算权重矩阵的范数。
• 通过求解Lyapunov方程对Lipschitz常数进行边界估计，将网络稳定性与架构特性联系起来。
• 通过每种架构采样50个DNN，使用i.i.d.高斯权重并测量稳定性概率，进行经验验证。
• 将理论近似值与训练网络中的真实奇异值进行比较，评估高斯假设的鲁棒性。

实验结果

研究问题

• RQ1 在随机权重初始化下，DNN的Lipschitz常数如何随深度和宽度变化？
• RQ2 Lipschitz常数能否作为跨不同激活函数的DNN表达能力的通用、可解释的度量？
• RQ3 Lipschitz常数与学习型控制系统的稳定性有何关系？
• RQ4 在理论近似中，权重矩阵的高斯假设在实际DNN中在多大程度上成立？
• RQ5 从基于Lipschitz的表达能力分析中，可为控制应用中的DNN设计导出哪些设计原则？

主要发现

• 当权重充分分散时，DNN的期望Lipschitz常数随深度呈指数增长，随宽度呈多项式增长。
• 对于具有单个300个神经元隐藏层的DNN，Lipschitz常数的估计上界低于安全稳定性阈值，可确保系统稳定性。
• 随着深度增加和宽度减小，Lipschitz常数增大，系统稳定性概率降低，10×30架构的稳定性概率仅为32%。
• 基于高斯假设的理论最大奇异值估计值与训练网络中的真实值非常接近，误差量级为$O(\sigma_w\sqrt{n})$。
• 基于Lipschitz的表达能力度量具有通用性，可实现DNN复杂度与待逼近函数之间的有意义比较。
• 该分析支持将深度作为高效函数逼近的关键手段，与使用其他度量方法的先前结果一致。