[论文解读] Learning using Local Membership Queries

Pranjal Awasthi, Vitaly Feldman+1 more|arXiv (Cornell University)|Nov 5, 2012

Machine Learning and Algorithms参考文献 26被引用 5

一句话总结

本文提出了一种新的成员查询学习模型，将查询限制在随机抽取的训练样本的 O(log n) 汉明距离范围内，使查询更加真实且抗噪声。结果表明，在此局部查询模型下，稀疏多项式、O(log n)-深度决策树和多项式大小的 DNF 公式均可在理论保证下被高效学习。

ABSTRACT

We introduce a new model of membership query (MQ) learning, where the learning algorithm is restricted to query points that are \emph{close} to random examples drawn from the underlying distribution. The learning model is intermediate between the PAC model (Valiant, 1984) and the PAC+MQ model (where the queries are allowed to be arbitrary points). Membership query algorithms are not popular among machine learning practitioners. Apart from the obvious difficulty of adaptively querying labelers, it has also been observed that querying \emph{unnatural} points leads to increased noise from human labelers (Lang and Baum, 1992). This motivates our study of learning algorithms that make queries that are close to examples generated from the data distribution. We restrict our attention to functions defined on the $n$-dimensional Boolean hypercube and say that a membership query is local if its Hamming distance from some example in the (random) training data is at most $O(\log(n))$. We show the following results in this model: (i) The class of sparse polynomials (with coefficients in R) over $\{0,1\}^n$ is polynomial time learnable under a large class of \emph{locally smooth} distributions using $O(\log(n))$-local queries. This class also includes the class of $O(\log(n))$-depth decision trees. (ii) The class of polynomial-sized decision trees is polynomial time learnable under product distributions using $O(\log(n))$-local queries. (iii) The class of polynomial size DNF formulas is learnable under the uniform distribution using $O(\log(n))$-local queries in time $n^{O(\log(\log(n)))}$. (iv) In addition we prove a number of results relating the proposed model to the traditional PAC model and the PAC+MQ model.

研究动机与目标

• 解决传统成员查询学习中的实际局限性，即查询常因人工标注者而产生不自然、高噪声的标签。
• 提出一种新学习模型，将成员查询限制在与数据分布中自然样本汉明距离较近的点上。
• 证明该局部查询模型可实现标准 PAC 模型下难以学习的概念类的高效学习。
• 在密码学假设下，建立该模型与标准 PAC 模型及 PAC+MQ 模型之间的理论分离。
• 提供一种设计实用、查询高效的学习算法的框架，同时保持理论严谨性并具备对标签噪声的鲁棒性。

提出的方法

• 将 r-局部成员查询定义为：查询点与随机抽取的训练样本之间的汉明距离不超过 r。
• 聚焦于布尔超立方体 {0,1}^n，并采用 r = O(log n) 作为局部查询的阈值。
• 利用傅里叶分析和伪随机函数构造方法，分析在局部查询下的可学习性。
• 基于单向函数假设，利用伪随机函数族构造分离，证明模型层次结构。
• 设计查询策略，通过利用对邻近点的局部查询访问，恢复隐藏参数（如字符串 s）。
• 通过标准 PAC 或 MQ 或acles 模拟局部查询算法，建立各模型之间的关系。

实验结果

研究问题

• RQ1 在标准 PAC 模型下难以学习的概念类，是否能仅通过局部成员查询实现高效学习？
• RQ2 局部成员查询模型的表达能力与标准 PAC 模型及 PAC+MQ 模型相比如何？
• RQ3 在实践中，局部查询是否能降低标签噪声，同时保持理论可学习性保证？
• RQ4 为实现对自然概念类的高效学习，所需的最小局部半径（以汉明距离计）是多少？
• RQ5 在密码学困难性假设下，是否存在在局部查询下可学习但标准 PAC 学习下不可学习的概念类？

主要发现

• 在局部平滑分布下，{0,1}^n 上的稀疏多项式可在多项式时间内通过 O(log n)-局部查询被学习。
• 在乘积分布下，O(log n)-深度决策树可通过 O(log n)-局部查询被高效学习。
• 在均匀分布下，多项式大小的 DNF 公式可在时间 n^{O(log log n)} 内通过 O(log n)-局部查询被学习。
• 在单向函数存在的假设下，PAC + 1-局部 MQ 模型严格强于标准 PAC 模型。
• 在伪随机概念类的构造下，PAC + o(n)-局部 MQ 模型严格弱于完整 PAC+MQ 模型，因为该类仅在拥有完整 MQ 访问时才可学习。
• 该模型在实际查询约束与强可学习性之间建立了理论桥梁，其分离性通过密码学假设得到证明。