[论文解读] A note on active learning for smooth problems

Satyaki Mahalanabis|arXiv (Cornell University)|Mar 16, 2011

Machine Learning and Algorithms参考文献 2被引用 5

一句话总结

本文改进了平滑假设类在主动学习中的分歧系数上界，表明其为 O(√m)，而非此前已知的 O(m^{3/2})。通过利用对称凸体的几何性质及约翰椭球，作者运用球面上的集中不等式推导出更紧的上界，解决了 [Fri09] 中提出的一个开放问题。

ABSTRACT

We show that the disagreement coefficient of certain smooth hypothesis classes is $O(m)$, where $m$ is the dimension of the hypothesis space, thereby answering a question posed in \cite{friedman09}.

研究动机与目标

• 解决 [Fri09] 中关于平滑假设类分歧系数的开放问题。
• 改进特定平滑、高维假设空间的极限分歧系数上界。
• 利用高维空间中的几何与概率工具，对分歧系数进行更紧的分析。
• 证明分歧系数有界于 2√(π/m)(1−1/m)^m ≤ 2√(πm)，优于先前的 2m^{3/2} 上界。

提出的方法

• 利用约翰椭球定理，将对称凸体 Km 夹在椭球 E 与其缩放版本 √mE 之间。
• 通过线性变换 A−1 将 Km 上的上确界转化为单位球 Sm−1 上的上确界。
• 应用关于随机单位向量的期望绝对内积的 probabilistic 下界：E_h∼Um[|u^T h|] ≥ cm/√m，其中 cm = √(2/π(1−1/m))。
• 利用 sup_h∈Sm−1 |(v^T A^{-1}) h| = ||v^T A^{-1}|| 的事实，将上确界之比与向量范数关联起来。
• 通过结合椭球包含关系与期望值下界，推导出关键不等式 (1)。
• 表明极限分歧系数为不等式 (1) 左侧的两倍，从而得出最终上界。

实验结果

研究问题

• RQ1 在高维空间中，平滑假设类的分歧系数的真实阶数是多少？
• RQ2 对于平滑、对称的假设类，能否将分歧系数的 O(m^{3/2}) 上界改进？
• RQ3 版本空间 (Km) 的几何结构及查询向量的分布如何影响分歧系数？
• RQ4 对于特定的对称凸体（如 m 维正八面体），该上界是否紧？
• RQ5 能否利用球面上的概率集中性来推导主动学习中分歧的更紧上界？

主要发现

• 所指定平滑假设类的极限分歧系数有界于 2√(π/m)(1−1/m)^m，其阶为 O(√m)。
• 相比 [Fri09] 中先前的 2m^{3/2} 上界，该结果通过 m 倍因子显著收紧了分析。
• 该上界通过约翰椭球与球面集中推导得出，关键步骤在于对 E_h∼Um[|u^T h|] 的下界估计。
• 对于 m 维正八面体与标准基向量，不等式 (1) 中的比值可达 m，表明在某些情况下该上界可能近乎紧致。
• 该证明技术与 [Fri09] 中定理 4 的方法相同，但用更精细的概率估计替换了原先较粗糙的界。
• 该结果证实分歧系数随维度的增长为亚二次方，支持平滑问题在主动学习中具有更高的样本效率。