[论文解读] Analysis on the Nonlinear Dynamics of Deep Neural Networks: Topological Entropy and Chaos

Husheng Li|arXiv (Cornell University)|Apr 3, 2018

Neural Networks and Applications参考文献 21被引用 7

一句话总结

本文将深度神经网络（DNNs）建模为离散时间非线性动力系统，利用拓扑熵和李雅普诺夫指数分析其复杂性。研究证明，在合适的网络参数下，ReLU 和 tanh 激活函数均会引发正的李雅普诺夫指数，表明网络存在混沌动力学，并推导出 VC-维的下界为 D+3，将动力学复杂性与泛化能力联系起来。

ABSTRACT

The theoretical explanation for deep neural network (DNN) is still an open problem. In this paper DNN is considered as a discrete-time dynamical system due to its layered structure. The complexity provided by the nonlinearity in the dynamics is analyzed in terms of topological entropy and chaos characterized by Lyapunov exponents. The properties revealed for the dynamics of DNN are applied to analyze the corresponding capabilities of classification and generalization.

研究动机与目标

• 通过将 DNNs 建模为非线性动力系统，提供一个理论框架以理解其成功的原因。
• 利用拓扑熵和李雅普诺夫指数量化 DNN 动力系统的复杂性。
• 将 DNN 中的混沌动力学与分类及泛化能力联系起来。
• 基于 DNN 的分层递归结构，推导出 Vapnik-Chervonenkis（VC）维的下界。
• 建立非线性分类面的形变与 DNN 中混沌行为之间的联系。

提出的方法

• 将 DNNs 建模为具有分层递归映射的离散时间动力系统：x_i = φ(W_i x_{i-1} + b_i)，其中 φ 为非线性激活函数。
• 分析 DNN 动力系统的拓扑熵，以量化系统复杂性。
• 计算 ReLU 和 tanh 激活函数的李雅普诺夫指数，以表征混沌行为。
• 利用仿射变换和反向非线性映射（如 tanh⁻¹）建模 DNN 如何将复杂的决策边界扭曲为线性可分形式。
• 应用数学归纳法证明：具有 D 个隐藏层的 DNN 至少能打乱 D+3 个样本，从而建立 VC-维的下界。
• 采用几何论证，结合凸包、线性可分性与仿射变换，证明在非线性映射后可实现线性可分性。

实验结果

研究问题

• RQ1 深度神经网络能否被正式分析为非线性动力系统，以理解其复杂性？
• RQ2 ReLU 和 tanh 激活函数在 DNN 中是否会导致正的李雅普诺夫指数，从而表明存在混沌动力学？
• RQ3 DNN 的混沌行为如何影响其对复杂、非线性可分数据的分类能力？
• RQ4 具有 D 个隐藏层的 DNN 的 VC-维的下界是多少？其如何从其分层结构中推导得出？
• RQ5 DNN 的非线性变换能否被理解为一种机制，通过混沌动力学将复杂的分类面扭曲为线性可分形式？

主要发现

• 对于 ReLU 和 tanh 激活函数，在适当的 DNN 参数下，均可获得正的李雅普诺夫指数，证实了网络非线性变换中存在混沌动力学。
• DNN 的拓扑熵量化了其非线性动力学的复杂性，提供了一种衡量系统丰富度的度量。
• DNN 的逆变换（如线性 + tanh⁻¹）可将一个简单的超平面映射为复杂、非线性的决策边界，解释了 DNN 实现非线性分离的机制。
• 具有 D 个隐藏层的 DNN 至少能打乱 D+3 个样本，从而确立其 VC-维的下界为 D+3。
• DNN 的混沌行为使得原本相近的特征向量能够被分离，这对区分相似但不同的类别至关重要。
• DNN 的分层递归结构使得能够对 VC-维进行系统性的、逐层分析，从而将网络深度与表征能力联系起来。