[论文解读] Comparison Based Learning from Weak Oracles

Ehsan Kazemi, Lin Chen+2 more|arXiv (Cornell University)|Feb 20, 2018

Machine Learning and Algorithms参考文献 31被引用 4

一句话总结

本文提出一种用于基于比较学习的弱预言机模型，用户仅在有把握时才响应，模拟在嘈杂环境中人类的犹豫行为。提出Worcs-I与Worcs-II算法，通过少量比较高效定位度量空间中的目标对象，查询复杂度接近目标分布的熵，其中Worcs-II在距离/排序访问受限时仍适用。

ABSTRACT

There is increasing interest in learning algorithms that involve interaction between human and machine. Comparison-based queries are among the most natural ways to get feedback from humans. A challenge in designing comparison-based interactive learning algorithms is coping with noisy answers. The most common fix is to submit a query several times, but this is not applicable in many situations due to its prohibitive cost and due to the unrealistic assumption of independent noise in different repetitions of the same query. In this paper, we introduce a new weak oracle model, where a non-malicious user responds to a pairwise comparison query only when she is quite sure about the answer. This model is able to mimic the behavior of a human in noise-prone regions. We also consider the application of this weak oracle model to the problem of content search (a variant of the nearest neighbor search problem) through comparisons. More specifically, we aim at devising efficient algorithms to locate a target object in a database equipped with a dissimilarity metric via invocation of the weak comparison oracle. We propose two algorithms termed WORCS-I and WORCS-II (Weak-Oracle Comparison-based Search), which provably locate the target object in a number of comparisons close to the entropy of the target distribution. While WORCS-I provides better theoretical guarantees, WORCS-II is applicable to more technically challenging scenarios where the algorithm has limited access to the ranking dissimilarity between objects. A series of experiments validate the performance of our proposed algorithms.

研究动机与目标

• 为解决交互式学习系统中人类反馈嘈杂或不可靠的问题，特别是在用户不确定或不一致时。
• 通过引入在不确定时选择不回答的弱预言机，更真实地建模人类行为，而非提供嘈杂的答案。
• 设计高效的基于比较的搜索算法，最小化查询次数，同时容忍用户不确定性。
• 提供接近信息论下限（目标分布的熵）的查询复杂度理论保证。

提出的方法

• 提出一种弱预言机模型，用户仅在高度确信答案时才回应成对比较查询，否则返回'?'（放弃回答）。
• 将目标对象搜索建模为度量空间中的版本空间缩减问题，利用弱预言机迭代缩小可能候选者的范围。
• 设计Worcs-I，一种理论最优的算法，使用完整的距离信息访问，查询复杂度在目标分布熵的常数因子内。
• 设计Worcs-II，适用于距离或排序数据访问受限的场景，采用分层聚类方法保持平衡并降低查询成本。
• 基于度量的固有维度性使用球覆盖技术，通过参数α缩放球的半径以控制粒度。
• 采用递归搜索策略，维护一个版本空间，并选择能最有效减少不确定性的查询对，基于置信度阈值进行自适应选择。

实验结果

研究问题

• RQ1 我们如何比现有的强预言机或嘈杂预言机模型更真实地建模人类在成对比较反馈中的不确定性？
• RQ2 在弱预言机（在不确定时放弃回答）下，识别目标对象所需的理论最小比较次数是多少？
• RQ3 我们能否设计出在该弱预言机模型下，查询复杂度接近目标分布信息论熵的算法？
• RQ4 当仅能获得部分距离或排序信息时（如在现实应用中），这些算法的性能如何？
• RQ5 算法的性能如何随数据集大小、置信度参数α以及需求分布幂律指数的变化而变化？

主要发现

• Worcs-I的查询复杂度在目标分布熵的常数因子内，提供了强有力的理论保证。
• Worcs-II在实践中实现了与Worcs-I相当的性能，即使在距离或排序数据访问受限的情况下，使其适用于更真实的场景。
• 在MovieLens、Wine和Music等真实数据集上，Worcs-II-Weak与Worcs-II-Rank的查询复杂度显著低于基线方法，分别在MovieLens上达到9.79和10.79的平均查询次数。
• Worcs-II-Rank与Worcs-II-Weak的查询复杂度近似为O(√N)，其中N为数据集大小，表明具有良好的可扩展性。
• 算法对需求分布幂律指数的变化具有鲁棒性，在不同数据访问模式下均表现出一致的性能。
• Worcs-II-Weak的计算成本仅略高于随机选择，表明尽管采用自适应查询选择，其开销仍极低。