[论文解读] Adaptive Regularization for Weight Matrices

Koby Crammer, Gal Chechik|arXiv (Cornell University)|Jun 18, 2012

Machine Learning and Algorithms参考文献 18被引用 9

一句话总结

本文提出了两种用于机器学习中学习权重矩阵的自适应正则化算法：一种使用对角协方差以实现对大规模矩阵的扩展，另一种通过分解协方差来高效建模特征相关性。两种方法在图像检索和文档排序任务中均表现出优越性能，其中因子分解变体展现出更快的收敛速度，并在误分类边界模型中具有坚实的理论保证。

ABSTRACT

Algorithms for learning distributions over weight-vectors, such as AROW were recently shown empirically to achieve state-of-the-art performance at various problems, with strong theoretical guaranties. Extending these algorithms to matrix models pose challenges since the number of free parameters in the covariance of the distribution scales as $n^4$ with the dimension $n$ of the matrix, and $n$ tends to be large in real applications. We describe, analyze and experiment with two new algorithms for learning distribution of matrix models. Our first algorithm maintains a diagonal covariance over the parameters and can handle large covariance matrices. The second algorithm factors the covariance to capture inter-features correlation while keeping the number of parameters linear in the size of the original matrix. We analyze both algorithms in the mistake bound model and show a superior precision performance of our approach over other algorithms in two tasks: retrieving similar images, and ranking similar documents. The factored algorithm is shown to attain faster convergence rate.

研究动机与目标

• 解决矩阵模型中协方差参数化带来的可扩展性问题，其中全协方差的复杂度随维度 n 呈 n⁴ 增长。
• 在现实应用中常见的高维设置下，实现对权重矩阵分布的高效学习。
• 在提升排序和检索任务精度的同时，维持强理论保证（误分类边界模型）。
• 在不损失建模能力的前提下，减少协方差估计中的自由参数数量。
• 开发出与矩阵规模呈线性增长的算法，同时捕捉特征间的相关性。

提出的方法

• 提出一种对角协方差方法，为每个权重参数单独维护方差，将参数数量从 n⁴ 减少至 n²。
• 引入一种因子分解协方差模型，将协方差矩阵分解为低秩分量，将参数数量减少至 O(n)，同时保持相关性建模能力。
• 在误分类边界框架中应用自适应正则化，根据预测误差动态更新权重矩阵的分布。
• 采用在线学习更新机制，在每次预测错误后调整权重分布的均值和协方差。
• 采用结构化参数化方式，实现对权重矩阵后验分布的高效计算。
• 借鉴 AROW 算法在权重向量上的原理，并通过协方差自适应将之扩展至矩阵模型。

实验结果

研究问题

• RQ1 自适应正则化能否在保持计算可行性的同时，有效从权重向量扩展至权重矩阵？
• RQ2 如何在不损失对特征间相关性建模能力的前提下，减少协方差矩阵中的参数数量？
• RQ3 与现有方法相比，所提出的方法是否能在排序和检索任务中实现更高的精度？
• RQ4 因子分解协方差模型是否能实现比对角变体或基线算法更快的收敛速度？
• RQ5 在将在线学习算法扩展至矩阵模型时，能够维持哪些理论保证？

主要发现

• 对角协方差算法在图像检索和文档排序任务中达到最先进性能，其精度优于基线方法。
• 因子分解协方差模型的收敛速度优于对角变体及竞争算法。
• 所提算法在误分类边界模型中保持了理论保证，将 AROW 框架成功扩展至矩阵学习。
• 因子分解方法将自由参数数量从 O(n⁴) 减少至 O(n)，使大规模矩阵的可扩展性成为可能。
• 实验结果表明，两种方法在图像相似性检索和文档排序任务中均显著提升了精度。
• 这些算法在全协方差模型不可行的高维设置下表现出鲁棒性和高效性。