[论文解读] Learning and Testing Junta Distributions with Subcube Conditioning

Xi Chen, Rajesh Jayaram+2 more|arXiv (Cornell University)|Apr 26, 2020

Machine Learning and Algorithms参考文献 55被引用 6

一句话总结

本文提出了在子立方体条件作用下学习和测试 $\{-1,1\}^n$ 上 $k$-junta 分布的最优算法，学习的查询复杂度为 $\tilde{O}(k/\epsilon^2)\log n + O(2^k/\epsilon^2)$，测试的查询复杂度为 $\tilde{O}((k+\sqrt{n})/\epsilon^2)$，两者均在多对数因子范围内最优。该方法利用一种新颖的递归子立方体条件作用框架，高效识别相关变量并检测分布结构。

ABSTRACT

We study the problems of learning and testing junta distributions on $\{-1,1\}^n$ with respect to the uniform distribution, where a distribution $p$ is a $k$-junta if its probability mass function $p(x)$ depends on a subset of at most $k$ variables. The main contribution is an algorithm for finding relevant coordinates in a $k$-junta distribution with subcube conditioning [BC18, CCKLW20]. We give two applications: 1. An algorithm for learning $k$-junta distributions with $ ilde{O}(k/ε^2) \log n + O(2^k/ε^2)$ subcube conditioning queries, and 2. An algorithm for testing $k$-junta distributions with $ ilde{O}((k + \sqrt{n})/ε^2)$ subcube conditioning queries. All our algorithms are optimal up to poly-logarithmic factors. Our results show that subcube conditioning, as a natural model for accessing high-dimensional distributions, enables significant savings in learning and testing junta distributions compared to the standard sampling model. This addresses an open question posed by Aliakbarpour, Blais, and Rubinfeld [ABR17].

研究动机与目标

• 解决在均匀分布下高维空间中学习和测试 $k$-junta 分布的计算挑战。
• 通过引入子立方体条件作用作为更强大的预言机模型，克服标准采样模型中固有的“维度灾难”问题。
• 设计学习和测试 $k$-junta 分布的最优算法，改进标准采样模型下的先前样本复杂度。
• 解决 Aliakbarpour、Blais 和 Rubinfeld（2017）提出的关于子立方体条件作用在 junt a 分布问题中能力的开放性问题。

提出的方法

• 开发了一种递归子立方体条件作用框架，通过迭代地对坐标子集进行条件作用，识别 $k$-junta 分布中的相关变量。
• 该算法采用域的分层分解，每一层以递减的概率应用子立方体条件作用，从而实现对相关变量集合的高效探索。
• 一个关键的结构引理将分布与均匀分布之间的总变差距离，以受限子立方体上均值向量的期望 $\ell_2$-范数形式进行有界。
• 该方法采用批量压缩技术，在保持统计精度的同时减少所需的条件样本数量。
• 使用鲁棒均值检验作为子程序，检测受限子立方体中的非均匀性，从而实现相关变量的识别。
• 分析结合了星集上的概率界和集中不等式，以控制递归各层之间的误差传播。

实验结果

研究问题

• RQ1 与标准采样相比，子立方体条件作用能否显著降低学习 $k$-junta 分布的查询复杂度？
• RQ2 使用子立方体条件作用时，测试一个分布是否为 $k$-junta 的最优查询复杂度是多少？
• RQ3 如何通过子立方体上的条件查询高效识别 $k$-junta 分布中的相关变量？
• RQ4 子立方体条件作用在多大程度上缓解了高维分布学习与测试中的维度灾难问题？

主要发现

• 学习算法实现了 $\tilde{O}(k/\epsilon^2)\log n + O(2^k/\epsilon^2)$ 个子立方体条件作用查询，其复杂度在多对数因子范围内达到最优。
• 测试算法需要 $\tilde{O}((k + \sqrt{n})/\epsilon^2)$ 个子立方体条件作用查询，与信息论下界相比仅相差对数因子。
• 所提出的算法是首个在子立方体条件作用下实现学习与测试 $k$-junta 分布最优查询复杂度的算法。
• 该框架表明，子立方体条件作用可为高维 junt a 分布带来相对于标准采样模型的指数级性能提升。
• 结构引理建立了总变差距离与受限子立方体上均值向量 $\ell_2$-范数之间的联系，从而支持递归分析。
• 该研究解决了 Aliakbarpour、Blais 和 Rubinfeld（2017）提出的关于子立方体条件作用在 junt a 分布问题中能力的开放性问题。