[论文解读] Active classification with comparison queries

Daniel M. Kane, Shachar Lovett+2 more|arXiv (Cornell University)|Apr 11, 2017

Machine Learning and Algorithms参考文献 6被引用 3

一句话总结

本文引入了比较查询的主动学习——学习者可询问两个样本中哪一个更接近决策边界——并证明对于具有大间隔或有界位描述的半空间，仅需 O(log n) 次查询即可标记 n 个样本，相比标准主动学习实现了指数级改进。关键贡献是提出了一种新的组合度量方法——推理维数（inference dimension），用于刻画此类查询下的查询复杂度。

ABSTRACT

We study an extension of active learning in which the learning algorithm may ask the annotator to compare the distances of two examples from the boundary of their label-class. For example, in a recommendation system application (say for restaurants), the annotator may be asked whether she liked or disliked a specific restaurant (a label query); or which one of two restaurants did she like more (a comparison query). We focus on the class of half spaces, and show that under natural assumptions, such as large margin or bounded bit-description of the input examples, it is possible to reveal all the labels of a sample of size $n$ using approximately $O(\log n)$ queries. This implies an exponential improvement over classical active learning, where only label queries are allowed. We complement these results by showing that if any of these assumptions is removed then, in the worst case, $Ω(n)$ queries are required. Our results follow from a new general framework of active learning with additional queries. We identify a combinatorial dimension, called the \emph{inference dimension}, that captures the query complexity when each additional query is determined by $O(1)$ examples (such as comparison queries, each of which is determined by the two compared examples). Our results for half spaces follow by bounding the inference dimension in the cases discussed above.

研究动机与目标

• 探究比较查询（即询问两个样本中哪一个更接近决策边界）是否能显著降低主动学习中的查询复杂度。
• 识别比较查询相较于仅使用标签查询的标准主动学习实现指数级改进的条件。
• 为额外查询类型（尤其是由常数个样本决定的查询）的主动学习建立一个通用的理论框架。
• 在自然假设（如大间隔或输入描述长度有界）下，刻画使用比较查询学习半空间的查询复杂度。
• 通过证明在无此类假设时最坏情况下需要 Ω(n) 次查询，建立紧致的上下界。

提出的方法

• 引入一种新的组合度量方法——推理维数，用于刻画在允许额外查询（如比较查询）时主动学习的查询复杂度。
• 将推理维数定义为集合 S 的最大大小，使得 S 的任意子集都无法仅通过标签查询或比较查询推断出 S 中某一点的标签。
• 证明对于推理维数为 d 的概念类，O(d) 次查询足以标记任意大小为 n 的可实现样本。
• 建立推理维数与几何性质（如间隔和输入的位描述复杂度）之间的联系。
• 通过显式构造函数和向量，证明在各种假设下推理维数的下界。
• 利用线性代数和泛函分析，构造在除一点外所有点上均无法通过比较查询和标签查询区分的函数族。

实验结果

研究问题

• RQ1 比较查询（即询问两个样本中哪一个更接近决策边界）是否能减少主动学习中标记数据集所需的查询次数？
• RQ2 在何种条件下，使用比较查询相较于标准主动学习能实现查询复杂度的指数级降低？
• RQ3 是否存在一个通用的理论框架，能够捕捉额外查询类型可用时的主动学习查询复杂度？
• RQ4 在不作任何结构假设（如间隔或有界描述长度）的情况下，仅允许比较查询和标签查询时，学习半空间的最坏情况查询复杂度是多少？
• RQ5 推理维数框架是否可用于推导特定概念类查询复杂度的紧致上下界？

主要发现

• 对于具有至少 1/8 间隔的半空间，最坏情况下的查询复杂度仍为 Ω(n)，表明仅靠间隔无法通过比较查询实现指数级节省。
• 当输入具有有界位描述长度时，查询复杂度为 O(log n)，相比标准主动学习实现了指数级改进。
• 概念类的推理维数是标记任意大小为 n 的可实现样本所需查询数的上界。
• 存在具有大间隔但推理维数为 Ω(n) 的概念类，证明仅靠间隔无法在最坏情况下降低查询复杂度。
• 在无任何结构假设（如间隔或有界描述长度）时，即使使用比较查询，最坏情况下仍需 Ω(n) 次查询。
• 推理维数框架为使用比较查询的主动学习提供了查询复杂度的紧致刻画，尤其适用于由常数个样本决定的查询。