[论文解读] Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting

Zeke Xie, Fengxiang He+4 more|arXiv (Cornell University)|Nov 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 74被引用 7

一句话总结

本文提出人工神经可变性（ANV），一种新型正则化技术，通过模拟生物神经可变性来提升深度学习的鲁棒性。通过在训练过程中利用神经可变风险最小化（NVRM）框架注入权重扰动，ANV 隐式正则化互信息，显著减少过拟合、噪声记忆和灾难性遗忘，且计算成本极低。

ABSTRACT

Deep learning is often criticized by two serious issues which rarely exist in natural nervous systems: overfitting and catastrophic forgetting. It can even memorize randomly labelled data, which has little knowledge behind the instance-label pairs. When a deep network continually learns over time by accommodating new tasks, it usually quickly overwrites the knowledge learned from previous tasks. Referred to as the {\it neural variability}, it is well-known in neuroscience that human brain reactions exhibit substantial variability even in response to the same stimulus. This mechanism balances accuracy and plasticity/flexibility in the motor learning of natural nervous systems. Thus it motivates us to design a similar mechanism named {\it artificial neural variability} (ANV), which helps artificial neural networks learn some advantages from ``natural'' neural networks. We rigorously prove that ANV plays as an implicit regularizer of the mutual information between the training data and the learned model. This result theoretically guarantees ANV a strictly improved generalizability, robustness to label noise, and robustness to catastrophic forgetting. We then devise a {\it neural variable risk minimization} (NVRM) framework and {\it neural variable optimizers} to achieve ANV for conventional network architectures in practice. The empirical studies demonstrate that NVRM can effectively relieve overfitting, label noise memorization, and catastrophic forgetting at negligible costs. \footnote{Code: \url{https://github.com/zeke-xie/artificial-neural-variability-for-deep-learning}.

研究动机与目标

• 解决深度神经网络中持续存在的过拟合与灾难性遗忘问题，这些问题在生物神经网络中极为罕见。
• 探究模仿人类大脑中观察到的神经可变性是否能提升人工网络的泛化能力与鲁棒性。
• 开发一种理论基础扎实、实用性强的方法，将神经可变性融入标准深度学习架构，无需修改网络结构。
• 证明 ANV 在保持持续学习任务性能的同时，能增强对标签噪声和权重扰动的鲁棒性。

提出的方法

• 提出人工神经可变性（ANV）作为平衡深度网络准确率与可塑性的机制，灵感源自生物神经可变性。
• 将 ANV 形式化为训练数据与模型权重之间互信息的隐式正则化器，理论证明其可提升泛化能力。
• 设计神经可变风险最小化（NVRM）框架，其中经验风险被权重扰动下的期望损失所取代。
• 引入神经可变优化器，在训练过程中应用随机权重扰动，模拟推理阶段的神经可变性。
• 采用三种噪声类型——高斯分布、拉普拉斯分布和均匀分布——进行扰动，并通过超参数调优实现最佳性能。
• 在 NVRM 中引入去噪步骤，提升对标签噪声的鲁棒性，在噪声环境下优于标准 SGD 和 PSGD。

实验结果

研究问题

• RQ1 人工神经可变性（ANV）能否作为隐式正则化器，减少深度神经网络中的过拟合与灾难性遗忘？
• RQ2 与标准 SGD 相比，ANV 如何影响模型对标签噪声和权重扰动的鲁棒性？
• RQ3 不同噪声类型（高斯分布、拉普拉斯分布、均匀分布）对 NVRM 在噪声环境与持续学习场景下的性能有何影响？
• RQ4 NVRM 是否能在无需任务特定记忆或架构修改的情况下，有效缓解持续学习中的灾难性遗忘？
• RQ5 NVRM 中的去噪机制是否相较于标准噪声注入方法（如 PSGD）具有可测量的优势？

主要发现

• ANV 作为训练数据与模型权重之间互信息的隐式正则化器，理论上保证了泛化能力与鲁棒性的提升。
• NVRM 显著减少了对随机标签数据的记忆，即使在 40% 异常标签噪声下，其性能也比标准 SGD 和 PSGD 高近七个百分点。
• 使用高斯噪声的 NVRM 取得最佳测试准确率——比均匀分布和拉普拉斯分布变体高出近一个百分点；而均匀分布噪声在超参数调优方面表现出更强的鲁棒性。
• 在排列 MNIST 的持续学习任务中，NVRM 提升了 EWC 的性能，既提高了基础任务的准确率，也提升了五个任务的平均任务准确率。
• NVRM 中的去噪步骤在实验中表现有效，表明即使标准噪声注入（如 PSGD）也能减少标签记忆，但 NVRM 仍显著优于之。
• NVRM 以可忽略的计算与编码成本实现了所有优势，仅需一行代码即可集成到现有模型中。