[论文解读] A Novel Framework for Online Supervised Learning with Feature Selection

Lizhe Sun, Mingyuan Wang+2 more|arXiv (Cornell University)|Mar 30, 2018

Advanced Bandit Algorithms Research参考文献 59被引用 5

一句话总结

本文提出了一种新颖的在线学习框架，利用移动平均实现高效、可扩展的特征选择，并具备理论保证。该方法实现了快速收敛和高精度的真实特征恢复，相较于标准的在线与离线方法，在大规模回归和分类数据集上表现更优，尤其在通过特征工程建模非线性关系时优势显著。

ABSTRACT

Current online learning methods suffer issues such as lower convergence rates and limited capability to select important features compared to their offline counterparts. In this paper, a novel framework for online learning based on running averages is proposed. Many popular offline regularised methods such as Lasso, Elastic Net, Minimax Concave Penalty (MCP), and Feature Selection with Annealing (FSA) have their online versions introduced in this framework. The equivalence between the proposed online methods and their offline counterparts is proved, and then novel theoretical true support recovery and convergence guarantees are provided for some of the methods in this framework. Numerical experiments indicate that the proposed methods enjoy high true support recovery accuracy and a faster convergence rate compared with conventional online and offline algorithms. Finally, applications to large datasets are presented, where again the proposed framework shows competitive results compared to popular online and offline algorithms.

研究动机与目标

• 为解决传统在线学习方法的局限性，例如收敛速度慢和特征选择能力差。
• 开发一种框架，支持在数据处理过程中的任意时刻进行任意稀疏度水平和模型类型的在线学习。
• 为高维设置下（n >> p）的真实特征恢复和收敛性提供理论保证。
• 通过动态模型更新实现对数据漂移的模型自适应。
• 在真实世界数据集上，相较于现有在线与离线算法，在预测精度和特征选择性能方面表现更优。

提出的方法

• 该框架用特征一阶和二阶矩的移动平均值替代完整的数据矩阵，实现常数内存处理。
• 采用归一化的移动平均值以保持数值稳定性，并在在线设置中实现高效计算。
• 该方法推导出流行的离线正则化技术的在线版本，包括弹性网络（Elastic Net）、最小最大凹惩罚（Minimax Concave Penalty）以及带退火的特征选择（Feature Selection with Annealing）。
• 基于移动平均值构建在线优化问题，实现实时模型更新并具备理论收敛保证。
• 该框架支持动态模型选择，可在不重新处理数据的情况下提取具有不同稀疏度水平的模型。
• 其集成了模型自适应机制，通过增量式更新检测并响应概念漂移。

实验结果

研究问题

• RQ1 在线学习方法是否能实现比标准在线算法更快的收敛速度和更好的特征恢复效果？
• RQ2 基于移动平均的框架是否能支持在任意时间点进行任意稀疏度水平的在线特征选择？
• RQ3 所提出的框架是否能在高维设置下维持真实特征恢复和收敛性的理论保证？
• RQ4 该框架在大规模真实世界数据集上与离线和在线基线方法相比表现如何？
• RQ5 该框架是否能通过使用移动平均实现有效的非线性关系建模（例如通过特征工程）？

主要发现

• 所提出的 OLSth 和 OFSA 方法实现了 O(n⁻¹) 的遗憾率，显著快于传统在线方法的 O(1/√n) 速率。
• OLSth 和 OFSA 展现出高精度的真实特征恢复能力，其中 OLSth 在 WIKIFace 数据集上达到 R² = 0.547，在非线性 Year Prediction MSD 数据集上达到 R² = 0.303。
• 基于移动平均的方法在 Year Prediction MSD 数据集上（使用成对特征）优于离线 Lasso，后者因高维性和计算约束而失效。
• OFSA 在 Dexter 数据集上达到 AUC = 0.971，显著优于其他在线方法（如 SADMM 的 AUC = 0.499 和 FOFS 的 AUC = 0.499）。
• 该框架能够有效实现对数据漂移的模型自适应，并通过基于移动平均的特征扩展支持非线性建模。
• 该方法受限于 p < 50,000，因 O(p²) 的内存复杂度和 O(np²) 的计算复杂度，不适用于超高维数据。