[论文解读] A Statistical Theory of Deep Learning via Proximal Splitting

Nicholas G. Polson, Brandon T. Willard+1 more|arXiv (Cornell University)|Sep 20, 2015

Gaussian Processes and Bayesian Inference参考文献 42被引用 4

一句话总结

本文提出一种基于ADMM的近端分裂框架，用于优化具有非凸、非光滑正则化的深度学习模型，实现稀疏权重学习和高效的超参数调优。结果表明，该方法在分类性能上可与密集网络相媲美，同时提供完整的正则化路径，并通过预测均方误差实现模型选择。

ABSTRACT

In this paper we develop a statistical theory and an implementation of deep learning models. We show that an elegant variable splitting scheme for the alternating direction method of multipliers optimises a deep learning objective. We allow for non-smooth non-convex regularisation penalties to induce sparsity in parameter weights. We provide a link between traditional shallow layer statistical models such as principal component and sliced inverse regression and deep layer models. We also define the degrees of freedom of a deep learning predictor and a predictive MSE criteria to perform model selection for comparing architecture designs. We focus on deep multiclass logistic learning although our methods apply more generally. Our results suggest an interesting and previously under-exploited relationship between deep learning and proximal splitting techniques. To illustrate our methodology, we provide a multi-class logit classification analysis of Fisher's Iris data where we illustrate the convergence of our algorithm. Finally, we conclude with directions for future research.

研究动机与目标

• 开发一种将近端分裂与ADMM结合用于优化的深度学习统计理论。
• 利用非凸、不可微的正则化惩罚（如ℓ¹）实现深度网络权重的稀疏性。
• 为不同网络结构设计提供自由度度量与预测均方误差（MSE）准则，用于模型选择。
• 在Fisher鸢尾花数据集的多类逻辑回归任务中，验证该方法的有效性。
• 建立浅层统计模型（如PCA、SIR）与深度学习架构之间的联系。

提出的方法

• 该方法通过变量分裂与增广拉格朗日技术，将深度学习目标重新表述为约束优化问题。
• 采用交替方向乘子法（ADMM）实现参数与辅助变量的分块、并行更新。
• 使用近端算子处理不可微惩罚项（如ℓ¹正则化），从而实现稀疏权重学习。
• 该框架支持非凸正则化，并通过调节稀疏性参数γw，实现完整正则化路径的计算。
• 算法基于带有softmax链接函数的深层多类逻辑模型实现，隐藏层包含10个单元。
• 通过预测均方误差（MSE）准则进行模型选择，以比较不同网络结构设计。

实验结果

研究问题

• RQ1 近端分裂与ADMM能否有效应用于具有非光滑、非凸正则化的深度学习模型优化？
• RQ2 ℓ¹正则化在多类逻辑模型中对深度网络权重的性能与稀疏性有何影响？
• RQ3 自由度与预测MSE能否用于选择最优的深度学习架构？
• RQ4 在该框架下，浅层统计模型（如PCA、SIR）与深度学习架构之间存在何种关系？
• RQ5 近端ADMM方法在收敛性与可扩展性方面，能否作为随机梯度下降的可行替代方案？

主要发现

• 即使在权重矩阵稀疏的情况下，ℓ¹正则化的深度学习模型仍实现了与密集模型（γw = 0）相当的分类准确率。
• 原始与对偶目标值在迭代过程中稳定收敛，表明基于ADMM的近端方法具有良好的优化稳定性。
• 在γw的多个取值范围内，模型保持了较高的测试分类率，且随着稀疏性增加，非零权重比例下降，如表2所示。
• 该方法成功计算了完整的正则化路径，实现了通过预测MSE进行系统性超参数调优。
• 算法表现出明显的并行块更新特性，表明其具有高效分布式实现的潜力。
• 该方法为模型选择提供了统计基础，包括自由度与预测MSE，而这些指标在标准深度学习流程中并不常见。