[论文解读] A Generalization Bound of Deep Neural Networks for Dependent Data

Quan Do, Binh T. Nguyen+1 more|arXiv (Cornell University)|Oct 9, 2023

Stochastic Gradient Optimization TechniquesComputer Science被引用 3

一句话总结

本文在非独立同分布、非平稳的 $φ$-混合数据条件下，为前馈深度神经网络建立了泛化界，放宽了标准的独立同分布假设。通过利用 Rademacher 复杂度，并考虑弱依赖性和时变边缘分布，推导出一个泛化误差界，将先前结果扩展至依赖数据场景，如流行病学和金融领域。

ABSTRACT

Existing generalization bounds for deep neural networks require data to be independent and identically distributed (iid). This assumption may not hold in real-life applications such as evolutionary biology, infectious disease epidemiology, and stock price prediction. This work establishes a generalization bound of feed-forward neural networks for non-stationary $ϕ$-mixing data.

研究动机与目标

• 解决在现实应用中数据依赖且非平稳时深度神经网络缺乏泛化理论的问题。
• 放宽现有泛化界中对独立同分布的假设，以适应依赖性随时间衰减的 $φ$-混合序列。
• 允许非同分布数据，其中边缘分布以次高斯速率收敛至目标分布。
• 在这些放松的随机假设下，为前馈神经网络推导统一的泛化界。
• 在进化生物学、疾病建模和金融时间序列等数据依赖性固有的领域中，提供理论保证。

提出的方法

• 将数据生成过程形式化为非平稳 $φ$-混合随机过程，其中观测之间的依赖性随时间间隔增大而减弱。
• 使用 Rademacher 复杂度来界定假设空间中前馈神经网络的期望损失与经验损失之间的差异。
• 提出一种新界，结合了混合系数衰减速率 $φ(n) = Ø(1/n)$ 和经验分布与目标分布之间的总变差距离 $μ_n = Ø(1/√{n})$。
• 通过在具有有界谱范数和 $\ell_{2,1}$-范数的权矩阵上使用并集界，实现对网络参数的统一界。
• 推导出具有 $p_i$--Lipschitz 激活函数且权矩阵有界的 ReLU 类网络的 Rademacher 复杂度界。
• 将泛化界与基于间隔的误差分解相结合，将分类误差与经验损失和复杂度项联系起来。

实验结果

研究问题

• RQ1 深度神经网络的泛化界能否扩展至具有弱依赖性的非独立同分布、非平稳数据（如时间序列）？
• RQ2 $φ$-混合序列中依赖性的衰减如何影响深度神经网络的泛化误差？
• RQ3 时变边缘分布对经验风险收敛至期望风险有何影响？
• RQ4 Rademacher 复杂度能否被调整以在弱依赖性和非同分布下界定泛化误差？
• RQ5 当数据变为独立同分布时，所提出的界是否会退化为标准的 i.i.d. 情况？

主要发现

• 泛化界在非独立同分布、非平稳的 $φ$-混合假设下推导得出，允许具有衰减依赖性的时变数据。
• 界中包含一项 $\frac{1}{n}\sum_{i=1}^{n}\mu_i = \mathcal{O}(1/\sqrt{n})$，用于捕捉经验边缘分布向目标分布的收敛性。
• 项 $||\Delta_n||_{\infty} = \mathcal{O}(\log n)$ 通过混合系数反映依赖结构，体现弱依赖对泛化的影响。
• Rademacher 复杂度项的尺度为 $\mathcal{O}\left(\frac{\ln n}{n}\right)$，显式依赖于网络深度、权值范数和激活函数的 Lipschitz 常数。
• 最终的泛化误差界包含来自分布偏移的 $\mathcal{O}(1/\sqrt{n})$ 项和来自混合依赖的 $\mathcal{O}(\log n / n)$ 项。
• 当 $\varphi(n) \to 0$ 且 $\mu_n \to 0$ 足够快时，该界可退化为 Bartlett 等人（2017）的 i.i.d. 情况。