[论文解读] Learning Coverage Functions and Private Release of Marginals

Vitaly Feldman, Pravesh K. Kothari|arXiv (Cornell University)|Apr 8, 2013

Machine Learning and Algorithms参考文献 54被引用 5

一句话总结

本文提出了首个在PMAC模型下对覆盖函数进行完全多项式时间学习的算法，在时间 $\mathsf{poly}(n,1/\gamma,1/\delta)$ 内实现对 $1-\delta$ 比例输入的 $1+\gamma$ 因子乘法近似。此外，该框架还实现了利用学习到的覆盖函数对 $k$-way 联合分布进行差分隐私发布，且平均误差较低。

ABSTRACT

We study the problem of approximating and learning coverage functions. A function $c: 2^{[n]} ightarrow \mathbf{R}^{+}$ is a coverage function, if there exists a universe $U$ with non-negative weights $w(u)$ for each $u \in U$ and subsets $A_1, A_2, \ldots, A_n$ of $U$ such that $c(S) = \sum_{u \in \cup_{i \in S} A_i} w(u)$. Alternatively, coverage functions can be described as non-negative linear combinations of monotone disjunctions. They are a natural subclass of submodular functions and arise in a number of applications. We give an algorithm that for any $γ,δ>0$, given random and uniform examples of an unknown coverage function $c$, finds a function $h$ that approximates $c$ within factor $1+γ$ on all but $δ$-fraction of the points in time $poly(n,1/γ,1/δ)$. This is the first fully-polynomial algorithm for learning an interesting class of functions in the demanding PMAC model of Balcan and Harvey (2011). Our algorithms are based on several new structural properties of coverage functions. Using the results in (Feldman and Kothari, 2014), we also show that coverage functions are learnable agnostically with excess $\ell_1$-error $ε$ over all product and symmetric distributions in time $n^{\log(1/ε)}$. In contrast, we show that, without assumptions on the distribution, learning coverage functions is at least as hard as learning polynomial-size disjoint DNF formulas, a class of functions for which the best known algorithm runs in time $2^{ ilde{O}(n^{1/3})}$ (Klivans and Servedio, 2004). As an application of our learning results, we give simple differentially-private algorithms for releasing monotone conjunction counting queries with low average error. In particular, for any $k \leq n$, we obtain private release of $k$-way marginals with average error $\barα$ in time $n^{O(\log(1/\barα))}$.

研究动机与目标

• 在PMAC模型下开发一种高效的学习算法，使假设函数在大多数输入上对目标函数实现乘法近似。
• 在具有挑战性的PMAC模型下，建立首个针对非平凡子模函数类的多项式时间学习算法。
• 通过利用学习到的覆盖函数，实现对单调合取计数查询的差分隐私发布，且平均误差较低。
• 探索覆盖函数在各种分布（包括均匀分布、乘积分布和对称分布）下的可学习性。
• 通过将其与学习多项式大小不相交DNF公式的困难问题关联，厘清覆盖函数在分布无关学习下的计算复杂性。

提出的方法

• 利用覆盖函数作为单调析取式的非负线性组合的新型结构表征。
• 采用基于阈值的近似方案，其中每个阈值函数通过归约至学习单调析取式来学习。
• 使用多项式回归和变量识别技术，估计覆盖函数分解中单调析取式系数的值。
• 应用类似提升的归约方法：学习目标函数的阈值函数，并将它们组合以重建原始函数，同时控制 $\ell_1$ 误差。
• 将覆盖函数的 $\ell_1$-误差学习归约为非负单调析取式之和的阈值函数的PAC学习。
• 利用参数化阈值机制控制近似误差，确保最终假设函数的 $\ell_1$ 误差在目标函数的 $\epsilon$ 以内。

实验结果

研究问题

• RQ1 是否可以在不作分布假设的前提下，在PMAC模型下高效学习覆盖函数？
• RQ2 在一般分布下学习覆盖函数的计算复杂性如何？其与已知困难类（如不相交DNF公式）的关系是什么？
• RQ3 该学习框架能否扩展以实现对 $k$-way 联合分布的差分隐私发布，且平均误差较低？
• RQ4 是否可能在乘积分布和对称分布上实现覆盖函数的高效 $\ell_1$-误差学习？
• RQ5 覆盖函数的哪些结构特性使其能够在PMAC和 $\ell_1$-误差模型下被高效学习？

主要发现

• 本文提出了首个在PMAC模型下对覆盖函数进行完全多项式时间学习的算法，运行时间 $\mathsf{poly}(n,1/\gamma,1/\delta)$，可在 $1-\delta$ 比例的输入上实现 $1+\gamma$ 的乘法近似。
• 研究证明，覆盖函数在乘积分布和对称分布上的 $\ell_1$-误差学习可在时间 $n^{\log(1/\epsilon)}$ 内实现，其中超额误差为 $\epsilon$。
• 分布无关的覆盖函数学习至少与PAC学习多项式大小的不相交DNF公式一样困难，而目前该类问题的最佳已知算法运行时间为 $2^{\tilde{O}(n^{1/3})}$。
• 该框架可在时间 $n^{O(\log(1/\bar{\alpha}))}$ 内实现对 $k$-way 联合分布的差分隐私发布，平均误差为 $\bar{\alpha}$。
• 建立了归约关系，表明在任意固定分布下，覆盖函数的 $\ell_1$-误差学习可归约为非负单调析取式之和的阈值函数的PAC学习。
• 通过结合阈值近似并控制阈值化过程中的误差传播，该算法实现了 $\ell_1$ 误差在 $\mathop{\mathbf{E}}[|y - c^*(x)|] + 3\epsilon$ 以内。