[论文解读] Learning with the Weighted Trace-norm under Arbitrary Sampling Distributions

Rina Foygel, Ruslan Salakhutdinov+2 more|arXiv (Cornell University)|Jun 21, 2011

Machine Learning and Algorithms参考文献 20被引用 38

一句话总结

本文提出了一种在任意采样分布下适用于矩阵补全的校正加权迹范数正则化方法，当行和列索引非独立采样时，标准加权范数会失效。该文使用经验或真实采样分布，建立了严格的泛化保证，表明其性能优于标准方法，尤其在通过经验频率加权时，即使在均匀或已知真实分布下也表现更优。

ABSTRACT

We provide rigorous guarantees on learning with the weighted trace-norm under arbitrary sampling distributions. We show that the standard weighted trace-norm might fail when the sampling distribution is not a product distribution (i.e. when row and column indexes are not selected independently), present a corrected variant for which we establish strong learning guarantees, and demonstrate that it works better in practice. We provide guarantees when weighting by either the true or empirical sampling distribution, and suggest that even if the true distribution is known (or is uniform), weighting by the empirical distribution may be beneficial.

研究动机与目标

• 解决标准加权迹范数正则化在非乘积采样分布下的失效问题，此时行和列索引并非独立选取。
• 为在任意采样分布下使用校正加权迹范数的矩阵补全提供理论学习保证。
• 研究基于经验采样分布的加权是否在理论上和实践中优于使用真实分布或均匀分布。
• 将理论分析扩展至独立同分布噪声和乘积分布之外，实现一般损失函数下的鲁棒学习。

提出的方法

• 提出一种校正加权迹范数，其考虑了行和列索引的边缘分布，定义为 $\|X\|_{\mathrm{tr}(p^r,p^c)} = \|\mathrm{diag}(p^r)^{1/2} \cdot X \cdot \mathrm{diag}(p^c)^{1/2}\|_{\mathrm{tr}}$。
• 提出一种正则化框架，其中估计器在集合 $\mathcal{W}_r[\overline{p}] = \{X : \|X\|_{\mathrm{tr}(p^r,p^c)} \leq \sqrt{r}\}$ 中最小化经验损失。
• 使用Rademacher复杂度和对称化技术来界定泛化误差，将数据分为训练集和测试集，以推导出归纳性保证。
• 对行和列的边缘分布应用阈值策略，将高概率和低概率条目分离，分别界定各部分的复杂度。
• 推导出泛化误差界，其量级为 $\mathbf{O}\left((l+b)\sqrt[3]{\frac{rn\log n}{s}}\right)$，其中 $l$ 为Lipschitz常数，$b$ 为损失有界值，$r$ 为秩，$n$ 为矩阵大小，$s$ 为观测条目数。
• 同时考虑真实和经验采样分布用于加权，表明即使在已知真实分布时，经验加权仍可能带来优势。

实验结果

研究问题

• RQ1 在行和列索引非独立采样的非乘积采样分布下，标准加权迹范数是否失效？
• RQ2 校正后的加权迹范数变体是否能在任意采样分布下提供强泛化保证？
• RQ3 在理论和实践中，基于经验采样分布的加权是否优于使用真实分布或均匀分布？
• RQ4 与均匀或乘积分布相比，任意采样下矩阵补全的样本复杂度如何变化？

主要发现

• 在行和列索引相关的非乘积采样分布下，标准加权迹范数因错误的归一化而失效。
• 提出了一种校正加权迹范数，能正确考虑行和列的边缘分布，确保理论一致性。
• 泛化误差被界定为 $\mathbf{O}\left((l+b)\sqrt[3]{\frac{rn\log n}{s}}\right)$，其随 $n$ 的增长呈次线性，且与联合采样分布无关。
• 在实践中，即使已知真实分布，使用经验分布加权的迹范数通常优于使用真实分布加权。
• 该校正方法在Netflix和MovieLens等真实世界数据集上表现更优，展现出实际优势。
• 理论保证在归纳和归纳性设置下均成立，且在一般损失函数下有效，无需假设独立同分布噪声。