[论文解读] Learning Neural Networks with Adaptive Regularization

Han Zhao, Yao-Hung Hubert Tsai+2 more|arXiv (Cornell University)|Jul 14, 2019

Neural Networks and Applications参考文献 40被引用 8

一句话总结

该论文提出AdaReg，一种用于深度神经网络的自适应正则化方法，通过使用具有Kronecker结构协方差的矩阵-variate正态先验，利用数据相关的相关性来促进神经元之间统计强度的共享。通过使用块坐标下降法并采用闭式更新从数据中学习先验的超参数，该方法降低了谱范数和稳定秩，从而在小样本数据集上实现了更好的泛化性能。

ABSTRACT

Feed-forward neural networks can be understood as a combination of an intermediate representation and a linear hypothesis. While most previous works aim to diversify the representations, we explore the complementary direction by performing an adaptive and data-dependent regularization motivated by the empirical Bayes method. Specifically, we propose to construct a matrix-variate normal prior (on weights) whose covariance matrix has a Kronecker product structure. This structure is designed to capture the correlations in neurons through backpropagation. Under the assumption of this Kronecker factorization, the prior encourages neurons to borrow statistical strength from one another. Hence, it leads to an adaptive and data-dependent regularization when training networks on small datasets. To optimize the model, we present an efficient block coordinate descent algorithm with analytical solutions. Empirically, we demonstrate that the proposed method helps networks converge to local optima with smaller stable ranks and spectral norms. These properties suggest better generalizations and we present empirical results to support this expectation. We also verify the effectiveness of the approach on multiclass classification and multitask regression problems with various network structures.

研究动机与目标

• 通过引入数据相关的正则化，解决在小样本数据集上训练深度神经网络时的过拟合问题。
• 通过反向传播利用同一层内神经元之间的相关性，提高统计效率。
• 开发一种可扩展的优化方法，同时学习模型权重和先验协方差结构。
• 通过训练模型中更小的谱范数和稳定秩，证明泛化性能的提升。
• 提供一种基于经验贝叶斯原理的、自适应的正则化框架，避免使用固定先验。

提出的方法

• 在网络权重上提出一种具有Kronecker积结构协方差矩阵的矩阵-variate正态先验，以建模神经元间的相关性。
• 采用经验贝叶斯原则，从数据中学习先验的超参数，实现数据相关的正则化。
• 推导出一种高效的块坐标下降算法，交替更新模型权重和先验的行/列协方差矩阵。
• 为权重和协方差更新提供解析解，避免近似误差。
• 利用反向传播中梯度更新的秩-1结构，证明Kronecker分解作为自然建模选择的合理性。
• 利用凸分析工具优化似然与先验的联合目标，确保收敛性。

实验结果

研究问题

• RQ1 一种数据相关的自适应正则化方法是否能提升在小样本数据集上训练的深度网络的泛化性能？
• RQ2 通过Kronecker结构先验对权重矩阵中的神经元间相关性进行建模，是否能带来更优的优化与泛化性能？
• RQ3 与固定先验相比，从数据中学习先验协方差是否能提升性能？
• RQ4 所提出的方法是否能降低学习到的权重矩阵的谱范数和稳定秩，从而表明泛化能力的提升？
• RQ5 在小样本任务中，该自适应正则化方法与标准基线方法（如权重衰减、Dropout和批量归一化）相比表现如何？

主要发现

• AdaReg降低了学习到的权重矩阵的谱范数和稳定秩，表明泛化能力得到提升。
• 该方法在多分类和多任务回归任务中实现了更好的泛化性能，尤其在训练数据有限时表现更优。
• 实证结果表明，同一层内的神经元发展出相关的权重更新，与模型假设的统计强度共享一致。
• 学习到的先验协方差矩阵展现出有意义的结构：相似数字（如1和7）呈现正相关，而不同数字（如1和8）则呈现负相关。
• 优化算法通过闭式更新高效收敛，实现无近似误差的可扩展训练。
• 在小样本场景下，该方法优于标准正则化技术，证明了自适应、数据驱动先验的优势。