[论文解读] Learning from partial correction

Sanjoy Dasgupta, Michael Luby|arXiv (Cornell University)|May 23, 2017

Machine Learning and Algorithms参考文献 5被引用 4

一句话总结

本文提出了一种新颖的交互式学习模型，其中专家仅对预测中的一个错误组件进行部分修正，而非提供完整标签。该研究建立了统计泛化界，表明即使在对抗性部分反馈下，学习仍能实现与独立同分布（i.i.d.）学习相当的收敛速率，并在组件独立查询分布下实现了最优的样本复杂度，以实现一致假设的选择。

ABSTRACT

We introduce a new model of interactive learning in which an expert examines the predictions of a learner and partially fixes them if they are wrong. Although this kind of feedback is not i.i.d., we show statistical generalization bounds on the quality of the learned model.

研究动机与目标

• 形式化一种新的交互式学习范式，其中专家仅修正错误预测中的部分组件，而非提供完整标签。
• 分析在部分修正反馈下的统计泛化性质，该反馈并非独立同分布（i.i.d.）的。
• 证明即使专家以对抗方式选择修正哪个组件，部分修正下的收敛速率仍与 i.i.d. 反馈下的速率相当。
• 在部分修正模型下，建立实现低误差假设选择的紧致样本复杂度界。
• 证明所提算法在自然误差度量与查询分布下的最优性。

提出的方法

• 该模型假设存在一个假设类 $\mathcal{H}$ 和一个查询空间 $\mathcal{Q}$，其中每个查询 $q$ 包含 $c$ 个原子组件 $ (q,1), \dots, (q,c) $，代表如分类法中的物种三元组等子结构。
• 在每个学习步骤中，查询 $q$ 从分布 $\mu$ 中独立同分布地抽取，专家要么接受预测 $h(q)$，要么通过返回 $h^*(q,j)$ 修正单个错误组件 $j$。
• 学习者维护一个与所有反馈一致的假设版本空间，并采用两阶段算法：第一阶段收集反馈直至找到一个误差较低的假设，第二阶段对其进行精炼。
• 通过在原子组件 $ (q,j) $ 上定义的变换分布 $\bar{\mu}$，其中 $ \bar{\mu}(q,j) = \mu(q)/c $，推导出组件级误差与完整查询误差之间的关系，从而获得泛化界。
• 理论分析依赖于集中不等式和加权反馈计数 $ \widehat{W}_t(\bar{\mathcal{Q}}) $，以追踪一致性并剔除不一致的假设。
• 证明了一个下界，表明 $ \frac{c \log |\mathcal{H}|}{\log c \cdot \epsilon} $ 对 $c$ 和 $\epsilon$ 的依赖关系是不可避免的，从而确立了最优性。

实验结果

研究问题

• RQ1 在每次查询仅修正一个组件的局部修正反馈下，学习是否仍能实现与 i.i.d. 反馈相当的泛化界？
• RQ2 当专家以对抗方式选择修正哪个组件时，该模型是否仍能保持收敛速率？
• RQ3 在部分修正模型下，实现 $\epsilon$-误差的最优样本复杂度是多少？
• RQ4 组件独立的查询分布如何影响组件级误差与完整查询误差之间的关系？
• RQ5 样本复杂度中 $c \cdot \log |\mathcal{H}| / (\log c \cdot \epsilon) $ 的依赖关系是否不可避免？

主要发现

• 本文证明，即使在对抗性专家反馈下，组件级误差 $ \mathrm{err}_c(h) $ 的收敛速率仍与 i.i.d. 反馈下的速率相当，从而确立了部分修正模型的鲁棒性。
• 建立了泛化界：以至少 $1 - \delta$ 的概率，第一阶段后仍保留在版本空间中的任意假设 $h$ 满足 $ \mathrm{err}_c(h) < \epsilon $，其中 $ \epsilon = 2\epsilon' $。
• 实现 $\epsilon$-误差的样本复杂度被限制在 $ \frac{c \cdot \log |\mathcal{H}|}{\log c \cdot \epsilon} $，并通过匹配的下界证明该依赖关系是最优的。
• 下界构造表明，对于任意 $\ell, c, \epsilon$，存在一个大小约为 $c^\ell$ 的假设类 $\mathcal{H}$，使得达到 $\epsilon$-误差的期望查询次数与 $ \frac{c \cdot \log |\mathcal{H}|}{\log c \cdot \epsilon} $ 成正比。
• 分析确认，误差界中 $c / \epsilon$ 的依赖关系是不可避免的，如引理 3.4 和定理 5.1 所示。
• 两阶段学习算法确保：在 $N$ 步后，若 $ \widehat{W}_N(\bar{\mathcal{Q}}) \geq (1 - \epsilon')N $，则以高概率存在一个误差 $ \leq \epsilon $ 的假设，且可被选出。