[论文解读] Improved Approximation of Linear Threshold Functions

Ilias Diakonikolas, Rocco A. Servedio|ArXiv.org|Oct 19, 2009

Complexity and Algorithms in Graphs参考文献 39被引用 22

一句话总结

本文在近似线性阈值函数方面取得两项主要进展：(1) 证明了任意 n 个变量的阈值函数均可通过仅依赖于 Inf(f)² · poly(1/ǫ) 个变量的 juntas 实现 ǫ-近似——相较于阈值函数的 Friedgut 定理，实现了指数级改进；(2) 展示了此类函数可使用有界于 poly(n) · 2~O(1/ǫ²/³) 的整数权重实现 ǫ-近似，通过新颖的反集中度技术显著改进了先前的界。

ABSTRACT

We prove two main results on how arbitrary linear threshold functions $f(x) = \sign(w\cdot x - θ)$ over the $n$-dimensional Boolean hypercube can be approximated by simple threshold functions. Our first result shows that every $n$-variable threshold function $f$ is $\eps$-close to a threshold function depending only on $\Inf(f)^2 \cdot \poly(1/\eps)$ many variables, where $\Inf(f)$ denotes the total influence or average sensitivity of $f.$ This is an exponential sharpening of Friedgut's well-known theorem \cite{Friedgut:98}, which states that every Boolean function $f$ is $\eps$-close to a function depending only on $2^{O(\Inf(f)/\eps)}$ many variables, for the case of threshold functions. We complement this upper bound by showing that $Ω(\Inf(f)^2 + 1/ε^2)$ many variables are required for $ε$-approximating threshold functions. Our second result is a proof that every $n$-variable threshold function is $\eps$-close to a threshold function with integer weights at most $\poly(n) \cdot 2^{ ilde{O}(1/\eps^{2/3})}.$ This is a significant improvement, in the dependence on the error parameter $\eps$, on an earlier result of \cite{Servedio:07cc} which gave a $\poly(n) \cdot 2^{ ilde{O}(1/\eps^{2})}$ bound. Our improvement is obtained via a new proof technique that uses strong anti-concentration bounds from probability theory. The new technique also gives a simple and modular proof of the original \cite{Servedio:07cc} result, and extends to give low-weight approximators for threshold functions under a range of probability distributions beyond just the uniform distribution.

研究动机与目标

• 弥合已知上界与下界之间在近似阈值函数所需变量数上的差距。
• 改进整数权重近似中对误差参数 ǫ 的依赖关系。
• 开发一种基于强反集中度界的新证明技术，该技术可推广并简化先前的结果。
• 将低权重近似器的适用范围从均匀分布扩展到常数偏置乘积分布和 K--wise 独立分布。

提出的方法

• 以 [OS08] 中阈值函数的傅里叶分析为基础，构建低影响近似器。
• 采用受 Bruck 和 Smolensky 的随机多项式阈值函数方法启发的概率构造方法。
• 应用概率论中的强反集中度界，以控制具有整数权重的线性形式的尾部行为。
• 通过用尾部界（如 Chebyshev 或 [BR94]）替代 Hoeffding 不等式，将方法推广至非均匀分布。
• 利用 ǫ-临界指数截断小权重，并在各种分布下控制近似误差。
• 利用引理 29 将临界指数与存在具有可控误差的低权重近似器联系起来。

实验结果

研究问题

• RQ1 能否将 Friedgut 定理中 2^O(Inf(f)/ǫ) 的变量数界从 2^O(Inf(f)/ǫ) 降低至 Inf(f) 的多项式依赖？
• RQ2 整数权重近似中，权重对 ǫ 的最优依赖关系是什么？
• RQ3 用于均匀分布的证明技术能否推广至非均匀分布（如常数偏置乘积分布或 K-wise 独立分布）？
• RQ4 在更广泛的分布类下，能否实现 poly(n) · 2~O(1/ǫ²/³) 的权重界用于 ǫ-近似？

主要发现

• 每个 n 个变量的阈值函数均可由仅依赖于 Inf(f)² · poly(1/ǫ) 个变量的 juntas 实现 ǫ-近似，相较于 Friedgut 定理的 2^O(Inf(f)/ǫ) 界实现了指数级改进。
• Inf(f)² · poly(1/ǫ) 的界几乎是最优的，因为 ǫ-近似至少需要 Ω(Inf(f)² + 1/ǫ²) 个变量。
• 每个 n 个变量的阈值函数均可使用绝对值不超过 poly(n) · 2~O(1/ǫ²/³) 的整数权重实现 ǫ-近似，优于先前的 poly(n) · 2~O(1/ǫ²) 界。
• 基于反集中度的新证明技术为原始 [Ser07] 在均匀分布下的结果提供了模块化且简化的推导。
• 该方法可推广至常数偏置乘积分布和 K-wise 独立分布，在这些测度下仍能获得相同的 2~O(1/ǫ²/³) 权重界。
• 一个下界表明，在某些分布下，1/(n+2)-近似至少需要 2Ω(n) 个权重，说明 2~O(1/ǫ²/³) 的界无法一般性地改进为 poly(n) · 2polylog(1/ǫ)。