[论文解读] Dropout as a Low-Rank Regularizer for Matrix Factorization

Jacopo Cavazza, Pietro Morerio+4 more|arXiv (Cornell University)|Oct 13, 2017

Sparse and Compressive Sensing Techniques参考文献 6被引用 20

一句话总结

本文对矩阵分解中的dropout作为正则化器进行了理论分析，表明其通过等价地施加基于列范数平方和的确定性正则化，诱导出低秩解。此外，研究进一步表明，通过自适应dropout率，dropout隐式实现了核范数正则化，从而实现凸低秩逼近问题的全局优化。

ABSTRACT

Regularization for matrix factorization (MF) and approximation problems has been carried out in many different ways. Due to its popularity in deep learning, dropout has been applied also for this class of problems. Despite its solid empirical performance, the theoretical properties of dropout as a regularizer remain quite elusive for this class of problems. In this paper, we present a theoretical analysis of dropout for MF, where Bernoulli random variables are used to drop columns of the factors. We demonstrate the equivalence between dropout and a fully deterministic model for MF in which the factors are regularized by the sum of the product of squared Euclidean norms of the columns. Additionally, we inspect the case of a variable sized factorization and we prove that dropout achieves the global minimum of a convex approximation problem with (squared) nuclear norm regularization. As a result, we conclude that dropout can be used as a low-rank regularizer with data dependent singular-value thresholding.

研究动机与目标

• 理论刻画dropout在矩阵分解中的正则化效应，该方法在实践中有效但机理尚不明确。
• 通过证明dropout诱导出一个凸下界，弥合非凸矩阵分解与凸低秩逼近之间的鸿沟。
• 证明使用自适应率的dropout可实现凸核范数正则化问题的全局最小值。
• 为dropout提供一种新解释：其在矩阵分解中促进谱稀疏性与低秩结构。
• 通过在模拟数据和真实数据（包括MNIST）上的实验，验证理论发现。

提出的方法

• 本文将矩阵分解中的dropout形式化为对伯努利随机变量的期望，以随机方式丢弃因子矩阵U和V的列。
• 推导出一个等价的确定性优化问题，其中正则化项为U和V各列的欧几里得范数平方乘积之和。
• 针对可变大小的因子分解，引入依赖于因子分解维度d和超参数p的自适应dropout率θ(d)，以防止过拟合。
• 证明dropout正则化目标的凸下界等价于平方核范数正则化，从而将dropout与已知的低秩逼近技术联系起来。
• 建立dropout正则化矩阵分解的最优解与凸核范数正则化问题全局最优解一致的结论。
• 通过在MNIST上的实验验证理论，比较dropout MF与凸下界的结果，结果显示重建误差均在10⁻²量级，两组解之间的均方误差约为10⁻³。

实验结果

研究问题

• RQ1 dropout通过何种理论机制对矩阵分解进行正则化？
• RQ2 dropout在低秩矩阵逼近中与核范数正则化有何关系？
• RQ3 使用自适应率的dropout能否实现凸低秩逼近问题的全局最优解？
• RQ4 dropout是否隐式强制实现谱稀疏性并促进矩阵分解中的低秩解？
• RQ5 dropout与凸正则化的等价性是否可在真实世界数据上通过实证验证？

主要发现

• 矩阵分解中的dropout在数学上等价于一种完全确定性的正则化，其惩罚项为因子矩阵各列范数平方乘积之和。
• 当因子分解大小d固定时，dropout正则化目标在点对点上等价于一个确定性正则化矩阵分解问题，确保最优解完全一致。
• 当因子分解大小d可变时，固定dropout率θ会导致因子分解过大，该问题通过引入依赖于d和超参数p的自适应θ(d)得以解决。
• dropout正则化目标的凸下界等价于平方核范数正则化，从而可通过dropout实现凸问题的全局最优解。
• dropout正则化矩阵分解的最优解与凸核范数正则化问题的全局最优解完全一致，后者通过数据相关的奇异值阈值化自动学习最优秩d̄。
• 在MNIST上的实证评估表明，dropout MF与凸下界的重建结果在视觉和定量上均高度相似，平均重建误差约为10⁻²，两组解之间的均方误差约为10⁻³。