[论文解读] Adaptivity to Noise Parameters in Nonparametric Active Learning

Andrea Locatelli, Alexandra Carpentier+1 more|arXiv (Cornell University)|Mar 16, 2017

Machine Learning and Algorithms参考文献 19被引用 4

一句话总结

该论文提出了一种新颖的主动学习算法，用于非参数分类，可自适应未知的噪声平滑度参数（α）和边界参数（β），且无需依赖自适应置信集。通过分层划分和乐观估计，该算法在温和的分布假设下实现了最优极小极大率，理论分析表明其收敛速度得到提升，尤其在 α > 1 和 αβ > d 的情况下表现更优。

ABSTRACT

This work addresses various open questions in the theory of active learning for nonparametric classification. Our contributions are both statistical and algorithmic: -We establish new minimax-rates for active learning under common extit{noise conditions}. These rates display interesting transitions -- due to the interaction between noise extit{smoothness and margin} -- not present in the passive setting. Some such transitions were previously conjectured, but remained unconfirmed. -We present a generic algorithmic strategy for adaptivity to unknown noise smoothness and margin; our strategy achieves optimal rates in many general situations; furthermore, unlike in previous work, we avoid the need for extit{adaptive confidence sets}, resulting in strictly milder distributional requirements.

研究动机与目标

• 填补主动学习在非参数分类中理论上的空白，特别是针对 α ≤ 1 的情形以及 αβ > d 的情况。
• 设计一种可自适应未知噪声平滑度 α 和边界 β 的算法，且不依赖于限制性较强的自适应置信集。
• 在一般噪声条件下（包括非均匀边缘分布）建立极小极大最优率，尤其针对 α > 1 的情形。
• 提供一个统一的框架，可在多种噪声环境下实现最优率，包括 α > 1 和 β = 1 的过渡区域。
• 消除先前工作中对回归函数在 L2 与 Linf 范数之间自相似性或等价性的假设要求。

提出的方法

• 通过输入空间的分层划分，将采样重点集中于贝叶斯决策边界附近（即 η(x) ≈ 1/2 的区域）。
• 利用 η(x) 到 1/2 的距离的乐观下界来引导主动采样，灵感来源于多臂赌博机算法。
• 在活跃单元中应用高阶核估计器，以利用平滑度（α > 1）实现更快的收敛速度。
• 基于与 n、δ、α、β 和 λ（Lipschitz 常数）相关的置信界，设计一种预算感知的停止规则。
• 推导出分类器输出的显式过失风险界 Δ*n,δ,α,λ 和 Δn,δ,α,λ，分别对应 α ≤ 1 和 α > 1 的情形。
• 通过非渐近、分布鲁棒的分析避免使用自适应置信集，且在 P_X 的温和假设下依然成立。

实验结果

研究问题

• RQ1 当 α > 1 且 αβ > d 时，主动非参数分类的极小极大最优率是什么？
• RQ2 能否设计一种主动学习算法，在不依赖自适应置信集或自相似性假设的前提下实现最优率？
• RQ3 α、β、d 以及边缘分布 P_X 如何共同影响主动学习中的学习速率？
• RQ4 在 α > 1 时是否存在速率跃迁，使得指数中的分母从 [d - αβ]+ 变为 [d - β]+？
• RQ5 是否存在一种单一算法，可在不预先知晓 α 和 β 参数的情况下，自适应地在所有参数区间内实现最优率？

主要发现

• 论文建立了新的极小极大率 n^{-α(β+1)/(2α + [d - β]+)}，适用于 α > 1 且 β ≥ 0 的情形，该结果取代了以往的 [d - αβ]+ 项，并在 β = 1 时达到紧致性。
• 针对 β = 1 的情形，证明了匹配的下界，表明在无额外假设下无法获得更快的收敛速率。
• 所提出的算法在 α ≥ 1 且 β ≥ 0 的条件下，于温和条件下实现了最优率，且无需使用自适应置信集。
• 对于 α ≤ 1 的情形，其速率 n^{-α(β+1)/(2α + [d - αβ]+)} 与已有结果一致，但分析已扩展至一般 P_X 和 α > 1 的情形。
• 该算法在过失风险 Δ*n,δ,α,λ 下被严格证明正确，其衰减速率在 α > 1 时为 O(n^{-α/(2α + [d - β]+)})，在 α ≤ 1 时为 O(n^{-α/(2α + d)})。
• 该方法通过新颖的基于乐观性的策略与分层划分，避免了先前工作中的限制性假设（如 L2 与 Linf 范数的等价性或自相似性）。