[论文解读] Learning pseudo-Boolean k-DNF and Submodular Functions

Sofya Raskhodnikova, Grigory Yaroslavtsev|arXiv (Cornell University)|Aug 10, 2012

Complexity and Algorithms in Graphs被引用 6

一句话总结

本论文将子模函数 $f: \{0,1\}^n \to \{0,1,\dots,k\}$ 表示为伪布尔 $2k$-DNF 公式，从而在均匀分布下实现了具有成员查询的 PAC 学习算法。关键贡献是提出了一种时间复杂度为 $k^{O(k\log k/\epsilon)}$ 的多项式时间学习算法，显著优于以往针对固定 $\epsilon$ 和 $\delta$ 的 $n^{O(k)}$ 边界。该方法利用广义开关引理与稀疏傅里叶逼近，实现了对子模性的高效学习与性质测试。

ABSTRACT

We prove that any submodular function f: {0,1}^n -> {0,1,...,k} can be represented as a pseudo-Boolean 2k-DNF formula. Pseudo-Boolean DNFs are a natural generalization of DNF representation for functions with integer range. Each term in such a formula has an associated integral constant. We show that an analog of Hastad's switching lemma holds for pseudo-Boolean k-DNFs if all constants associated with the terms of the formula are bounded. This allows us to generalize Mansour's PAC-learning algorithm for k-DNFs to pseudo-Boolean k-DNFs, and hence gives a PAC-learning algorithm with membership queries under the uniform distribution for submodular functions of the form f:{0,1}^n -> {0,1,...,k}. Our algorithm runs in time polynomial in n, k^{O(k \log k / ε)}, 1/εand log(1/δ) and works even in the agnostic setting. The line of previous work on learning submodular functions [Balcan, Harvey (STOC '11), Gupta, Hardt, Roth, Ullman (STOC '11), Cheraghchi, Klivans, Kothari, Lee (SODA '12)] implies only n^{O(k)} query complexity for learning submodular functions in this setting, for fixed epsilon and delta. Our learning algorithm implies a property tester for submodularity of functions f:{0,1}^n -> {0, ..., k} with query complexity polynomial in n for k=O((\log n/ \loglog n)^{1/2}) and constant proximity parameter ε.

研究动机与目标

• 在均匀分布下，为子模函数 $f: \{0,1\}^n \to \{0,1,\dots,k\}$ 开发一种高效的学习算法。
• 建立一个结构结果，表明每个此类子模函数均可表示为具有有界常数的伪布尔 $2k$-DNF。
• 利用广义开关引理，将 Mansour 的 PAC 学习框架扩展至伪布尔 $k$-DNF。
• 实现子模性测试，查询复杂度在 $n$ 上为多项式，当 $k = O((\log n / \log\log n)^{1/2})$ 时成立。

提出的方法

• 使用伪布尔 DNF 表示子模函数，其中每个项关联一个整数常数，且最多包含 $k$ 个正变量和 $k$ 个反变量。
• 为具有有界常数的伪布尔 $k$-DNF 证明广义开关引理，以控制傅里叶系数。
• 使用稀疏傅里叶逼近，将 $\text{DNF}^{k,r}$ 中的任意函数 $\epsilon$-近似为 $M$-稀疏函数，其中 $M = k^{O(k\log(r/\epsilon))}$。
• 应用 Kushilevitz-Mansour 学习算法学习稀疏近似，然后将值四舍五入至最接近的 $2/(r-1)$ 的倍数，以恢复原始函数，误差 $\leq \epsilon$。
• 利用 Gopalan-Kalai-Klivans 的学习框架，将结果扩展至泛化设置，适用于具有稀疏近似的函数。

实验结果

研究问题

• RQ1 子模函数 $f: \{0,1\}^n \to \{0,1,\dots,k\}$ 能否通过伪布尔 DNF 实现紧凑表示？
• RQ2 具有有界常数的伪布尔 $k$-DNF 是否存在广义开关引理？
• RQ3 Mansour 学习框架能否扩展至伪布尔 $k$-DNF，以实现高效的 PAC 学习？
• RQ4 在均匀分布下，学习子模函数的查询复杂度是多少？
• RQ5 能否利用新表示与学习框架高效测试子模性？

主要发现

• 每个子模函数 $f: \{0,1\}^n \to \{0,1,\dots,k\}$ 均可表示为常数在 $\{0,\dots,k\}$ 中的伪布尔 $2k$-DNF。
• 广义开关引理界定了伪布尔 $k$-DNF 的高阶傅里叶系数的 $L_2$-范数以及低阶系数的 $L_1$-范数。
• 任意 $\text{DNF}^{k,r}$ 中的函数均可被 $M$-稀疏函数 $\epsilon$-近似，其中 $M = k^{O(k\log(r/\epsilon))}$。
• 在均匀分布下，子模函数的 PAC 学习算法运行时间在 $n$、$k^{O(k\log k/\epsilon)}$、$1/\epsilon$ 和 $\log(1/\delta)$ 上为多项式时间。
• 通过稀疏近似与值四舍五入，该算法实现了子模函数的泛化学习。
• 当 $k = O((\log n / \log\log n)^{1/2})$ 且 $\epsilon$ 为常数时，可获得查询复杂度在 $n$ 上为多项式的子模性性质测试器。