[论文解读] Active Regression by Stratification

Sivan Sabato, Rémi Munos|arXiv (Cornell University)|Oct 22, 2014

Machine Learning and Algorithms参考文献 22被引用 16

一句话总结

该论文提出了一种用于参数线性回归的主动学习算法，通过分层策略自适应地采样数据点，相较于被动学习，通过减少误差界中的分布相关常数，实现了更快的收敛速率。该方法将输入空间划分为若干区域，并利用分段常数逼近来逼近最优的Oracle风险，在模型可能被错误设定的情况下，仍能提供有限样本保证。

ABSTRACT

We propose a new active learning algorithm for parametric linear regression with random design. We provide finite sample convergence guarantees for general distributions in the misspecified model. This is the first active learner for this setting that provably can improve over passive learning. Unlike other learning settings (such as classification), in regression the passive learning rate of $O(1/ε)$ cannot in general be improved upon. Nonetheless, the so-called `constant' in the rate of convergence, which is characterized by a distribution-dependent risk, can be improved in many cases. For a given distribution, achieving the optimal risk requires prior knowledge of the distribution. Following the stratification technique advocated in Monte-Carlo function integration, our active learner approaches the optimal risk using piecewise constant approximations.

研究动机与目标

• 开发一种用于线性回归的主动学习算法，使其在收敛速率的分布相关常数方面优于被动学习。
• 在可能被错误设定的模型下，为一般分布提供有限样本收敛保证。
• 利用蒙特卡洛积分中常见的分层技术，通过不断细化的输入空间划分，逼近最优的Oracle风险。
• 证明主动学习在回归中可实现严格优于被动学习的收敛速率，尽管在一般情况下 $O(1/\epsilon)$ 的速率无法进一步提升。

提出的方法

• 该算法将输入空间 $\mathbb{R}^d$ 层次性地划分为不相交的区域（层），每层被分配一个目标标记样本数量。
• 对于每层，算法估计给定输入下标签的条件方差，并基于该估计分配样本，以最小化期望误差。
• 该方法采用三阶段采样策略：第一阶段，估计分布并划分空间；第二阶段，在每层内采样以估计局部风险；第三阶段，使用所有标记数据训练最终预测器。
• 通过使用浓度不等式和估计误差的界，推导出有限样本收敛速率，其中包含偏差、方差和采样误差的项。
• 收敛速率趋近于由最优划分定义的Oracle风险，误差以 $O(\log m / m)$ 的速率衰减，其中 $m$ 为总标记样本数。
• 该算法通过细化划分并动态将样本分配至高方差或高影响区域，自适应地适应底层数据分布。

实验结果

研究问题

• RQ1 在线性回归中，主动学习能否在收敛速率的分布相关常数方面优于被动学习？
• RQ2 是否可能在模型被错误设定的情况下，为主动回归提供有限样本收敛保证？
• RQ3 蒙特卡洛积分中的分层技术能否被适配以改进回归中的主动学习？
• RQ4 主动学习在回归中相对于被动学习的收敛速率理论上最多可提升多少？
• RQ5 所提出的算法是否收敛至由划分输入空间定义的最优Oracle风险？

主要发现

• 主动学习者的收敛速率为 $O(\log m / m)$，常数因子趋近于由输入空间最优划分定义的最优Oracle风险。
• 在特定的一维示例中，主动学习者的误差速率为 $O(\sigma^2 p \log(1/\delta)/m)$，而最优被动学习者的速率为 $\Omega(\sigma^2 / m)$，表明常数因子上实现了 $O(1/p)$ 的改进。
• 当 $m$ 较大时，被动学习与主动学习速率的比值趋近于 $O(1/p)$，证明了常数项上存在可证明且显著的改进。
• 即使在模型被错误设定的情况下，该方法仍能提供有限样本保证，且显式给出了过剩风险与样本大小和置信参数的关系。
• 该算法的收敛速率受一个包含最优预测器的 $L^2$-范数和与划分相关的风险的项所限制，该限制可通过细化分层来最小化。
• 分析表明，主动学习者可逼近给定划分下的最小可能风险，且通过细化划分，可收敛至全局最优的Oracle风险。