[论文解读] Adaptive Feature Selection: Computationally Efficient Online Sparse Linear Regression under RIP

Satyen Kale, Zohar Karnin+2 more|arXiv (Cornell University)|Jun 14, 2017

Sparse and Compressive Sensing Techniques参考文献 19被引用 3

一句话总结

本文提出了一种在受限等距性性质（RIP）下计算高效的在线稀疏线性回归算法，实现了可实现与非可实现设定下的次线性遗憾。通过利用弱超模函数特性及在线优化技术（如BEXP和VAW），该方法可实时自适应选择信息丰富的特征，实现与时间T次线性增长的遗憾边界，同时在RIP假设下保持多项式时间复杂度。

ABSTRACT

Online sparse linear regression is an online problem where an algorithm repeatedly chooses a subset of coordinates to observe in an adversarially chosen feature vector, makes a real-valued prediction, receives the true label, and incurs the squared loss. The goal is to design an online learning algorithm with sublinear regret to the best sparse linear predictor in hindsight. Without any assumptions, this problem is known to be computationally intractable. In this paper, we make the assumption that data matrix satisfies restricted isometry property, and show that this assumption leads to computationally efficient algorithms with sublinear regret for two variants of the problem. In the first variant, the true label is generated according to a sparse linear model with additive Gaussian noise. In the second, the true label is chosen adversarially.

研究动机与目标

• 为解决在标准假设下在线稀疏线性回归的计算不可行性问题。
• 设计多项式时间复杂度下具有次线性遗憾的在线稀疏线性回归算法。
• 证明受限等距性性质（RIP）可在可实现与非可实现设定下均实现可计算解。
• 在特征查询预算约束下，通过动态选择每轮最具信息量的特征，实现自适应特征选择。
• 解决在线稀疏回归在何种假设下可实现计算可行性的开放问题。

提出的方法

• 该方法假设特征向量的设计矩阵在所有足够大的t下满足受限等距性性质（RIP）。
• 将预测误差建模为弱超模集合函数g(S)，从而可通过BEXP算法实现贪心近似。
• 将序列划分为小批量，并在每个批量内应用VAW算法以最小化累积损失。
• 采用两阶段方法：首先，BEXP基于期望误差减少量在每批中选择k₁稀疏的特征子集；其次，VAW在所选特征上学习最优权重。
• 遗憾边界的推导结合了贪心选择的近似误差（通过弱超模性）与VAW的在线学习遗憾。
• 分析利用了浓度不等式与受限条件数的性质，以控制跨批量的误差传播。

实验结果

研究问题

• RQ1 在线稀疏线性回归是否可在如RIP这类自然假设下实现计算高效？
• RQ2 RIP假设是否足以在可实现与非可实现设定下均实现次线性遗憾？
• RQ3 在受限特征查询预算下，能否高效集成自适应特征选择至在线稀疏回归？
• RQ4 是否存在一种方法可在保持多项式时间复杂度的同时，使遗憾随T次线性增长？
• RQ5 能否在不损失计算可及性的情况下弱化RIP假设？

主要发现

• 在RIP假设下，所提算法的遗憾边界为O(κ²k√(d k₁ log(d) T / k₀)) + O(k₁ log T)，且随T次线性增长。
• 当k₁ = Ω(κ²k log T)时，遗憾边界在T上为次线性，确保算法性能趋近于最优k稀疏预测器。
• 该方法保证期望累积损失与最优k稀疏预测器之间的差距在O(κ²k√(d k₁ log(d) T / k₀))以内，额外损失为O(k₁ log T)，来自在线学习。
• 分析表明，在RIP下误差函数的弱超模性可实现有效贪心特征选择，且近似误差有界。
• 该算法在每轮自适应选择不同的稀疏特征子集，高效解决了自适应特征选择问题。
• 结果在更弱条件（如不可表示性）下的可实现设定中仍成立，表明其适用范围超出严格RIP假设。