[论文解读] Linear Regression with Limited Observation

Elad Hazan, Tomer Koren|arXiv (Cornell University)|Jun 18, 2012

Advanced Bandit Algorithms Research参考文献 15被引用 24

一句话总结

本文在仅观测每个样本固定数量特征的有限观测设置下，提出了Lasso、Ridge和支持向量回归的高效算法。其在Lasso和Ridge上实现了最优样本复杂度（与完整信息方法一致），在支持向量回归上实现的特征使用量相比先前工作呈指数级减少，解决了在线学习中部分观测下的一个开放问题。

ABSTRACT

We consider the most common variants of linear regression, including Ridge, Lasso and Support-vector regression, in a setting where the learner is allowed to observe only a fixed number of attributes of each example at training time. We present simple and efficient algorithms for these problems: for Lasso and Ridge regression they need the same total number of attributes (up to constants) as do full-information algorithms, for reaching a certain accuracy. For Support-vector regression, we require exponentially less attributes compared to the state of the art. By that, we resolve an open problem recently posed by Cesa-Bianchi et al. (2010). Experiments show the theoretical bounds to be justified by superior performance compared to the state of the art.

研究动机与目标

• 解决在训练过程中每个样本仅能观测有限数量特征时进行线性回归的挑战。
• 缩小部分观测与完整信息算法在Lasso和Ridge回归样本复杂度方面的差距。
• 解决Cesa-Bianchi等人（2010）提出的关于有限观测下支持向量回归样本复杂度的开放问题。
• 设计实用算法，在实现理论边界的同时，在实验中优于最先进方法。

提出的方法

• 作者提出一种新颖的优化框架，基于梯度信息和置信区间自适应选择有信息量的特征。
• 对于Lasso和Ridge回归，采用一种变体的随机梯度下降方法，结合特征采样，确保总特征观测次数与完整信息算法相同。
• 对于支持向量回归，设计了一种专用算法，利用损失函数的结构特性，将所需特征观测数指数级减少。
• 该方法采用对偶优化策略，在最小化每样本观测特征数的同时保持有 regret 边界。
• 引入基于置信度的采样机制，优先选择能最大程度降低模型估计不确定性的特征。
• 所提算法设计计算高效且可扩展，适用于大规模在线学习场景。

实验结果

研究问题

• RQ1 在有限观测条件下，Lasso和Ridge回归能否以与完整信息算法相同的总特征观测次数实现？
• RQ2 在相同部分观测约束下，是否可能实现支持向量回归的特征使用量相比现有方法呈指数级降低？
• RQ3 在线性回归的局部信息设置下，特征观测成本与模型准确率之间的最优权衡是什么？
• RQ4 所提算法是否能在实践中优于最先进方法，同时保持理论保证？
• RQ5 损失函数的结构如何影响部分观测设置下的样本复杂度？

主要发现

• 所提Lasso和Ridge回归算法实现的总特征观测次数（常数因子内）与完整信息算法相同，以达到给定精度。
• 对于支持向量回归，算法所需特征观测次数相比最先进方法呈指数级减少，显著提升样本效率。
• 理论边界在实验中得到验证，表明其性能优于现有方法。
• 该方法解决了Cesa-Bianchi等人（2010）提出的在线学习中部分观测下的开放问题。
• 所提算法在最小化每训练样本观测特征数的同时，保持了强大的泛化性能。