[论文解读] Least Squares Revisited: Scalable Approaches for Multi-class Prediction

Alekh Agarwal, Sham M. Kakade+3 more|arXiv (Cornell University)|Oct 7, 2013

Machine Learning and Algorithms参考文献 33被引用 21

一句话总结

本文提出了一种可扩展的、无需参数调整的二阶最小二乘算法，用于大规模多分类任务，通过使用预处理的海森矩阵近似，实现与数据条件数无关的快速收敛。该方法在 MNIST 和 CIFAR-10 数据集上相比一阶方法（如 Liblinear 和 Vowpal Wabbit）在速度上提升了数个数量级，以简洁的 MATLAB 代码实现了当前最优的准确率，同时支持在广义线性模型（GLMs）中联合学习权重和链接函数。

ABSTRACT

This work provides simple algorithms for multi-class (and multi-label) prediction in settings where both the number of examples n and the data dimension d are relatively large. These robust and parameter free algorithms are essentially iterative least-squares updates and very versatile both in theory and in practice. On the theoretical front, we present several variants with convergence guarantees. Owing to their effective use of second-order structure, these algorithms are substantially better than first-order methods in many practical scenarios. On the empirical side, we present a scalable stagewise variant of our approach, which achieves dramatic computational speedups over popular optimization packages such as Liblinear and Vowpal Wabbit on standard datasets (MNIST and CIFAR-10), while attaining state-of-the-art accuracies.

研究动机与目标

• 开发适用于大规模多分类任务的鲁棒且可扩展的算法，其中样本数 $n$ 和特征数 $d$ 均较大。
• 克服一阶方法在病态数据（尤其是 MNIST 和 CIFAR-10 等高维视觉任务）中收敛缓慢的问题。
• 设计一种无需参数、无需度量的二阶方法，避免线搜索，仅使用 $d \times d$ 矩阵运算，与传统基于海森矩阵的方法不同。
• 将该方法扩展至在广义线性模型（GLMs）框架下联合估计模型权重与链接函数，通过基于预测的特征学习实现迭代优化。
• 开发一种分阶段块坐标变体，逐步拟合小的特征子集，从而实现对高维问题的可扩展性。

提出的方法

• 基于经验二阶矩 $\widehat{\Sigma} = \frac{1}{n}\sum_i x_i x_i^T$ 构造海森矩阵的上界作为预处理矩阵，避免 $\mathcal{O}(dk \times dk)$ 的矩阵运算。
• 采用简单、无需参数的二阶更新规则，计算高效，并且收敛性与数据的条件数无关。
• 引入一种分阶段块坐标下降过程，对小的、逐步增加的特征子集拟合最小二乘模型，降低每次迭代的计算成本。
• 在参数化假设下，将框架扩展至联合学习 GLMs 中的权重与链接函数，采用受保序回归启发的技术。
• 通过修改投影步骤以处理超立方体取值的标签而非单纯形约束，将该方法应用于多标签设置。
• 在分阶段变体中采用贪婪特征选择策略，优先选择信息量高的特征，从而提升收敛速度。

实验结果

研究问题

• RQ1 能否使二阶最小二乘方法在大规模多分类预测中实现可扩展性与无参数化？
• RQ2 在病态数据（如 MNIST 和 CIFAR-10）的视觉数据集上，二阶方法与一阶方法（如 Vowpal Wabbit 和 Liblinear）相比性能如何？
• RQ3 分阶段块坐标方法是否能有效将二阶方法扩展至高维问题，且不带来过高的计算成本？
• RQ4 在非凸条件下，是否可能在广义线性模型框架下联合学习链接函数与模型权重，并保证理论收敛性？
• RQ5 该方法在条件良好且稀疏的文本数据集（如 NEWS20 和 RCV1）上的表现如何，这些数据集通常由一阶方法主导？

主要发现

• 在 MNIST 数据集上，分阶段变体使用简洁的 MATLAB 实现即达到当前最优准确率，运行速度至少比高度优化的 C 语言实现 Liblinear 和 Vowpal Wabbit 快 10 倍以上。
• 在 CIFAR-10 上，该方法使用标准卷积特征进行线性回归，准确率超过 85%，在未使用数据增强的情况下优于许多深度学习基线模型。
• 仅使用 400 个滤波器和多项式特征，该方法在 CIFAR-10 上极短时间内即达到超过 80% 的准确率，展现出极快的收敛速度与良好的可扩展性。
• 在条件良好、稀疏的文本数据集（如 NEWS20 和 RCV1）上，一阶方法（VW、Liblinear）仍具竞争力，但分阶段方法在某些情况下实现了相当的测试误差，同时训练时间显著减少。
• 该方法在多种数据类型上表现出鲁棒性与可扩展性，在病态视觉数据上实现显著提速，同时在条件良好的文本数据上也保持优异性能。
• 通过保序回归风格的更新机制实现权重与链接函数的联合学习，为多分类 GLMs 中的迭代模型优化提供了一种新颖且理论基础坚实的途径。