[论文解读] Adaptive Subgradient Methods for Online AUC Maximization

Yi Ding, Peilin Zhao+2 more|arXiv (Cornell University)|Feb 1, 2016

Smart Grid Energy Management参考文献 32被引用 4

一句话总结

本文提出 AdaOAM，一种用于在线 AUC 最大化的自适应次梯度方法，通过利用历史梯度信息提升学习效率并减少遗憾。该方法扩展为 SAdaOAM，适用于高维稀疏数据，采用自适应近端更新，实现了更低的计算成本和对超参数更低的敏感度，同时在多种真实世界数据集上达到最先进（SOTA）的 AUC 性能。

ABSTRACT

Learning for maximizing AUC performance is an important research problem in Machine Learning and Artificial Intelligence. Unlike traditional batch learning methods for maximizing AUC which often suffer from poor scalability, recent years have witnessed some emerging studies that attempt to maximize AUC by single-pass online learning approaches. Despite their encouraging results reported, the existing online AUC maximization algorithms often adopt simple online gradient descent approaches that fail to exploit the geometrical knowledge of the data observed during the online learning process, and thus could suffer from relatively larger regret. To address the above limitation, in this work, we explore a novel algorithm of Adaptive Online AUC Maximization (AdaOAM) which employs an adaptive gradient method that exploits the knowledge of historical gradients to perform more informative online learning. The new adaptive updating strategy of the AdaOAM is less sensitive to the parameter settings and maintains the same time complexity as previous non-adaptive counterparts. Additionally, we extend the algorithm to handle high-dimensional sparse data (SAdaOAM) and address sparsity in the solution by performing lazy gradient updating. We analyze the theoretical bounds and evaluate their empirical performance on various types of data sets. The encouraging empirical results obtained clearly highlighted the effectiveness and efficiency of the proposed algorithms.

研究动机与目标

• 解决现有在线 AUC 最大化算法依赖非自适应随机梯度下降、无法利用数据几何结构的问题。
• 通过自适应梯度更新引入二阶信息，以减少在线 AUC 学习中的遗憾。
• 通过自适应近端更新在模型权重中引入稀疏性，提升高维稀疏数据的效率与可扩展性。
• 开发一种理论基础扎实、对参数不敏感的算法，适用于实时异常检测与流数据应用。

提出的方法

• 提出 AdaOAM，一种自适应在线 AUC 最大化算法，通过历史梯度范数按特征自适应调整学习率，受自适应次梯度方法启发。
• 采用自适应梯度更新规则：频繁出现的特征获得较低学习率，稀有特征获得较高学习率，依据累积梯度大小确定。
• 提出 SAdaOAM 作为高维稀疏数据的扩展，使用自适应近端在线梯度下降以在解中强制实现稀疏性。
• 理论分析推导出遗憾界，表明在常规与稀疏设置下，其收敛性优于非自适应在线 AUC 方法。
• 采用单遍学习框架，通过平方损失近似 AUC 目标，确保一致性与可扩展性。
• 在 SAdaOAM 中采用懒惰梯度更新，通过跳过非活跃特征的更新来降低计算开销。

实验结果

研究问题

• RQ1 与标准在线梯度下降相比，自适应梯度方法是否能降低在线 AUC 最大化中的遗憾？
• RQ2 通过历史梯度引入二阶信息，是否能提升在线 AUC 学习中的收敛性与性能？
• RQ3 自适应正则化与懒惰更新是否能在高维稀疏数据中保持高 AUC 性能的同时实现稀疏性？
• RQ4 与非自适应方法相比，所提出的算法对超参数设置的敏感度如何？
• RQ5 在真实世界异常检测任务中，所提出方法是否在 AUC 性能与效率上优于最先进（SOTA）的在线 AUC 算法？

主要发现

• 在全部四个真实世界异常检测数据集上，AdaOAM 的 AUC 性能显著优于 OPAUC、OAM seq、OAM gra 以及在线 Uni-Log/Uni-Exp，配对 t 检验的 p 值均小于 0.05。
• 在 webspam-u 数据集上，AdaOAM 的 AUC 达到 0.964 ± 0.005，优于 OPAUC（0.959 ± 0.006）和在线 Uni-Log（0.923 ± 0.005）。
• 在 smartBuilding 数据集上，AdaOAM 的 AUC 达到 0.838 ± 0.044，显著优于 OPAUC（0.629 ± 0.070）及其他基线方法。
• SAdaOAM 在保持高 AUC 性能（如在恶意软件数据集上达到 0.967 ± 0.008）的同时，通过稀疏权重更新与懒惰梯度计算降低了计算成本。
• 图 6 显示，AdaOAM 的运行速度显著快于 OAM seq 和 OAM gra，对数尺度下的运行时间差异凸显了其在大规模流式任务中的高效性。
• 理论分析证实，由于自适应学习率调度，AdaOAM 的遗憾界优于非自适应在线 AUC 方法。