[论文解读] A General Framework for Robust Interactive Learning

Ehsan Emamjomeh-Zadeh, David Kempe|arXiv (Cornell University)|Oct 16, 2017

Machine Learning and Algorithms参考文献 22被引用 7

一句话总结

本文提出了一种在噪声反馈下鲁棒的交互式学习通用框架，其中用户以概率 p > 1/2 纠正所提出的模型。通过将模型建模为图中的节点，边表示有效的反馈，该框架即使在存在噪声的情况下，也能以 O(log N) 次查询收敛到真实模型，且仅需极少的算法重构，从而推广了经典分类、排序和聚类结果。

ABSTRACT

We propose a general framework for interactively learning models, such as (binary or non-binary) classifiers, orderings/rankings of items, or clusterings of data points. Our framework is based on a generalization of Angluin's equivalence query model and Littlestone's online learning model: in each iteration, the algorithm proposes a model, and the user either accepts it or reveals a specific mistake in the proposal. The feedback is correct only with probability $p > 1/2$ (and adversarially incorrect with probability $1 - p$), i.e., the algorithm must be able to learn in the presence of arbitrary noise. The algorithm's goal is to learn the ground truth model using few iterations. Our general framework is based on a graph representation of the models and user feedback. To be able to learn efficiently, it is sufficient that there be a graph $G$ whose nodes are the models and (weighted) edges capture the user feedback, with the property that if $s, s^*$ are the proposed and target models, respectively, then any (correct) user feedback $s'$ must lie on a shortest $s$-$s^*$ path in $G$. Under this one assumption, there is a natural algorithm reminiscent of the Multiplicative Weights Update algorithm, which will efficiently learn $s^*$ even in the presence of noise in the user's feedback. From this general result, we rederive with barely any extra effort classic results on learning of classifiers and a recent result on interactive clustering; in addition, we easily obtain new interactive learning algorithms for ordering/ranking.

研究动机与目标

• 开发一种通用且查询高效的交互式学习框架，用于学习分类器、排序模型和聚类等模型。
• 解决在用户反馈存在噪声（正确反馈概率 p > 1/2）的条件下进行学习的挑战。
• 将现有交互式学习结果（如分类、聚类）统一到一个统一的理论框架下。
• 将该框架扩展至新领域，如交互式排序/排序问题，并保证查询效率。

提出的方法

• 将所有候选模型表示为加权图 G 中的节点，其中边表示有效的用户反馈。
• 施加关键结构假设 (*): 任何正确的用户反馈必须位于从当前模型到目标模型的图中最短路径上。
• 在模型上应用乘法权重更新算法，根据反馈的一致性更新权重。
• 利用图结构确保一致反馈在每次迭代中将错误模型的总权重减少常数倍。
• 利用图的最短路径性质，在存在噪声的情况下保证 O(log N) 次查询内收敛。
• 通过定义适当的图结构（例如，相邻交换使用冒泡排序图，块重排使用插入排序图），将框架适配至不同领域。

实验结果

研究问题

• RQ1 能否为包括分类器、排序和聚类在内的多种模型类型，开发一个统一的交互式学习框架？
• RQ2 如何使学习过程对用户反馈中的对抗性噪声具有鲁棒性，其中正确反馈的概率 p > 1/2？
• RQ3 哪些图论性质是确保交互式学习中高效收敛的必要且充分条件？
• RQ4 该框架能否应用于新问题（如交互式排序）并保证查询效率？
• RQ5 在正确学习与非正确学习设置下，计算复杂度与查询复杂度之间存在何种权衡？

主要发现

• 当反馈无噪声时，该框架保证在 O(log N) 次查询内收敛到真实模型，其中 N 为候选模型的数量。
• 在存在噪声反馈（正确概率 p > 1/2）的情况下，查询次数仅温和增加至 O(log N)，常数因子依赖于 p。
• 对于 n 个项目的交互式排序，该框架实现 O(n log n) 次查询，这在等价查询模型下是最优的。
• 对于 VC 维为 d 的二分类问题，该框架恢复了先前工作中 O(d² log n) 的查询界，证实了其通用性。
• 该框架表明，聚类中的正确学习可能导致查询成本增加，其增长受 O(log d) 有界，揭示了查询开销的理论极限。
• 该框架可扩展至非均匀噪声模型，但此类扩展需要仔细的参数化与符号表示。