[论文解读] Generalization and Memorization: The Bias Potential Model

Hongkang Yang, E Weinan|arXiv (Cornell University)|Nov 29, 2020

Statistical Mechanics and Entropy参考文献 53被引用 8

一句话总结

本文引入偏差势模型作为分析机器学习中分布学习的可处理框架，表明尽管最终会出现记忆化或发散，但早停机制可实现与维度无关的一般化误差。关键贡献在于理论保证：在适当的函数空间下，早停解的一般化误差被限制在 $ O(n^{-\alpha_2}) $，且与输入维度 $ d $ 无关，从而解决了生成模型中记忆化与一般化之间的矛盾。

ABSTRACT

Models for learning probability distributions such as generative models and density estimators behave quite differently from models for learning functions. One example is found in the memorization phenomenon, namely the ultimate convergence to the empirical distribution, that occurs in generative adversarial networks (GANs). For this reason, the issue of generalization is more subtle than that for supervised learning. For the bias potential model, we show that dimension-independent generalization accuracy is achievable if early stopping is adopted, despite that in the long term, the model either memorizes the samples or diverges.

研究动机与目标

• 解决 GAN 等分布学习模型中的泛化悖论，即模型最终会记忆训练数据，但在实践中仍能良好泛化。
• 建立理论框架，理解为何尽管长期训练会导致记忆化或发散，早停仍能带来良好泛化。
• 分析高维分布学习中模型表达能力、采样误差与训练动态之间的相互作用。
• 为一类表达性强的分布模型提供与维度无关的先验一般化误差估计。
• 通过将模型表述为变分法问题，为设计更稳定、更具泛化能力的分布学习模型奠定数学基础。

提出的方法

• 将偏差势模型形式化为连续的变分法问题，由函数 $ f $ 参数化，其训练目标 $ L(Q) $ 最小化与目标分布 $ Q_* $ 的差异。
• 使用随机特征表示 $ f_{\mathbf{w}}(\mathbf{x}) = a(\mathbf{w})\sigma(\mathbf{w} \cdot \tilde{\mathbf{x}}) $，以确保低雷电复杂度，从而增强对采样误差 $ Q_* - Q_*^{(n)} $ 的鲁棒性。
• 应用浓度不等式与雷电复杂度界，控制真实损失与经验损失之间的偏差，从而获得一般化误差估计。
• 证明训练轨迹 $ Q(f(t)) $ 由于隐式正则化，首先快速收敛至目标 $ Q_* $，随后才出现发散或对经验分布 $ Q_*^{(n)} $ 的记忆。
• 利用损失的凸性与函数空间的有界性，推导出先验误差界，表明在早停时间下，一般化误差以 $ O(n^{-\alpha_2}) $ 的速率衰减。
• 识别出一个早停区间 $[T_{\min}, T_{\max}]$，在此区间内一般化误差保持较小且与维度无关，满足 $ T_{\min} \ll n^{\alpha_1} \ll T_{\max} $。

实验结果

研究问题

• RQ1 尽管最终会记忆训练数据，是否仍可在分布学习模型中实现与维度无关的一般化？
• RQ2 为何在表达能力强的模型（如 GAN）中，早停仍能实现良好泛化，即使长期训练会导致记忆化？
• RQ3 函数空间与雷电复杂度在控制分布学习中对采样误差的敏感性方面起什么作用？
• RQ4 为何 GAN 等模型在实践中泛化良好，尽管其理论样本复杂度随维度呈指数增长？
• RQ5 能否将分布模型的训练动态表述为变分法问题，以实现理论分析？

主要发现

• 当应用早停时，偏差势模型的一般化误差以 $ O(n^{-\alpha_2}) $ 的速率衰减，其中 $ \alpha_2 > 0 $，且与输入维度 $ d $ 无关。
• 该模型表现出两种不同的训练阶段：快速收敛至真实目标 $ Q_* $ 的阶段，随后是向经验分布 $ Q_*^{(n)} $ 的发散或记忆。
• 对于表达能力强的模型，记忆化是不可避免的，如命题 3.7 所示，长期来看一般化误差会退化至 $ n^{-O(1/d)} $ 或 $ \infty $。
• 随机特征模型的雷电复杂度确保了模型对采样误差不敏感，从而实现缓慢的记忆化，因此拥有较宽的早停窗口。
• 通过损失的凸性与浓度界，建立了与维度无关的先验一般化误差估计，适用于早停解。
• 当样本量为多项式规模时，早停区间 $[T_{\min}, T_{\max}]$ 足够宽，使得早停具有鲁棒性且具有实际可行性。