[论文解读] Efficient second order online learning by sketching

Haipeng Luo, Alekh Agarwal+2 more|arXiv (Cornell University)|Dec 5, 2016

Advanced Bandit Algorithms Research参考文献 34被引用 36

一句话总结

本文提出了草图在线牛顿法（Sketched Online Newton, SON），一种高效的在线二阶学习算法，利用草图技术实现维度和草图大小的线性时间复杂度，显著改善了病态条件数据的遗憾保证。通过引入如Oja规则等稀疏草图方法，SON使计算复杂度与特征稀疏性呈线性关系，克服了现有二阶在线学习方法中的计算瓶颈。

ABSTRACT

We propose Sketched Online Newton (SON), an online second order learning algorithm that enjoys substantially improved regret guarantees for ill-conditioned data. SON is an enhanced version of the Online Newton Step, which, via sketching techniques enjoys a running time linear in the dimension and sketch size. We further develop sparse forms of the sketching methods (such as Oja's rule), making the computation linear in the sparsity of features. Together, the algorithm eliminates all computational obstacles in previous second order online learning approaches.

研究动机与目标

• 解决在病态条件数据设置下二阶在线学习的高计算成本问题。
• 开发一种在线学习算法，在保持二阶优化优势的同时实现线性时间复杂度。
• 通过草图技术进行降维，消除现有二阶在线方法中的计算障碍。
• 将草图技术扩展至稀疏特征空间，确保在数据稀疏时仍保持高效性。
• 通过将草图与在线牛顿方法结合，改善在线学习的遗憾保证。

提出的方法

• 提出草图在线牛顿（SON），一种基于草图技术进行降维的在线牛顿步算法的改进版本。
• 采用草图技术将海森矩阵近似计算复杂度降低至维度和草图大小的线性时间。
• 引入稀疏草图变体（如Oja规则），以在特征稀疏性下保持线性时间复杂度。
• 通过随机草图投影近似海森矩阵，保持二阶优化的优势。
• 使用带有草图海森矩阵近似的在线更新，实现在高维设置下的高效参数更新。
• 通过结合低秩草图与迭代在线学习更新，确保计算效率。

实验结果

研究问题

• RQ1 草图技术能否有效应用于二阶在线学习，以降低计算复杂度？
• RQ2 SON在病态条件数据上的遗憾性能与现有在线牛顿方法相比如何？
• RQ3 如Oja规则等稀疏草图规则能否在保持优化精度的同时维持计算效率？
• RQ4 草图大小和维度对SON收敛性和遗憾的影响如何？
• RQ5 SON是否消除了阻碍先前二阶在线学习算法实用化的计算瓶颈？

主要发现

• SON在遗憾保证方面显著优于基线在线牛顿方法，尤其在病态条件数据上表现突出。
• 该算法在数据维度和草图大小上均实现线性时间运行，支持可扩展的二阶学习。
• 稀疏草图变体（如Oja规则）使计算复杂度与特征稀疏性呈线性关系，显著提升了稀疏输入下的效率。
• 该方法成功克服了此前限制二阶在线学习实用性的计算障碍。
• 通过将草图与在线牛顿更新结合，SON在不产生高昂计算成本的前提下，保持了二阶优化的优势。