[论文解读] A Small PRG for Polynomial Threshold Functions of Gaussians

Daniel M. Kane|arXiv (Cornell University)|Apr 6, 2011

Computational Geometry and Mesh Generation参考文献 3被引用 7

一句话总结

本文提出了一种新的伪随机生成器（PRG），其种子长度为 $\log n \cdot 2^{O_c(d)} \epsilon^{-4-c}$，可在 $\epsilon$ 误差范围内欺骗度为 $d$ 的多项式阈值函数（PTFs）的独立同分布标准高斯分布。其中 $c > 0$ 为常数。该方法结合了符号函数的平滑近似与一种基于高阶导数的新反集中度论证，通过泰勒展开和有限独立性下的矩匹配，实现了每一步变量更新的误差界控制。

ABSTRACT

We develop a pseudo-random generator to fool degree-$d$ polynomial threshold functions with respect to the Gaussian distribution. For $c>0$ any constant, we construct a pseudo-random generator that fools such functions to within $ε$ and has seed length $\log(n) 2^{O(d)} ε^{-4-c}$.

研究动机与目标

• 构建一个显式且可高效计算的伪随机生成器（PRG），用于欺骗独立同分布的标准高斯分布的度为 $d$ 的多项式阈值函数（PTFs）。
• 降低现有 PRG 在多项式阈值函数上的种子长度，尤其在非恒定 $d$ 和小 $\epsilon$ 的情况下。
• 通过引入一种新的反集中度框架，克服以往依赖高阶独立性或低效构造的 PRG 的局限性。
• 通过使用小随机种子高效模拟高斯输入下的 PTF，支持学习理论、电路复杂性与通信复杂性中的应用。

提出的方法

• 使用符号函数 $f = \mathrm{sgn}(p(X))$ 的平滑近似 $g$，其中 $g$ 依赖于 $p(X)$ 及其至 $d$ 阶导数 $p^{(m)}(X)$。
• 应用替换方法：将 $k$-独立高斯分布 $X_i$ 逐个替换为完全独立的高斯分布，通过泰勒展开控制每一步引入的误差。
• 通过匹配 $p(X) - p(X')$ 的 $T$ 阶矩并控制 $g$ 的 $T$ 阶导数（其量级为 $\delta^{-T}$，其中 $\delta$ 为近似阈值）来控制误差。
• 提出一种改进的反集中度界：$\mathrm{Pr}(|p(X)| < \epsilon^d |p^{(d)}(X)|) \approx O(\epsilon)$，该界在高概率下成立，从而实现更紧密的误差控制。
• 利用 $|p^{(d)}(X)|$ 为常数且可作为 $|p|_2$ 的代理这一事实，实现在有限独立性下的基于矩的分析。
• 通过将均匀随机变量离散化为 $M$ 比特并近似 Box-Muller 变换，构造一个可高效计算的 PRG，确保以高概率满足 $|X_{i,j} - Z_{i,j}| < \delta$。

实验结果

研究问题

• RQ1 是否可以构造一个种子长度亚指数的 PRG，以欺骗度为 $d$ 的高斯分布 PTF，即使 $d$ 不是常数？
• RQ2 是否可以利用泰勒展开与矩匹配，控制用完全独立高斯分布替换 $k$-独立高斯分布所引入的误差？
• RQ3 是否存在更强的反集中度性质——即 $|p(X)| \geq \epsilon^d |p^{(d)}(X)|$ 以高概率成立——从而支持更优的 PRG 构造？
• RQ4 是否可以通过依赖于 $p$ 的导数的符号函数平滑近似，降低对 $p(X)$ 小值的敏感性，从而改善误差界？
• RQ5 在使用有限独立性与高效计算的前提下，欺骗度为 $d$ 的高斯分布 PTF 所需的最小种子长度是多少？

主要发现

• 本文构造的 PRG 可在种子长度为 $\log n \cdot 2^{O_c(d)} \epsilon^{-4-c}$ 下 $\epsilon$-欺骗度为 $d$ 的高斯分布 PTF，优于以往构造。
• 该构造在 $d$ 非恒定且 $\epsilon$ 较小时，其种子长度优于已知的超立方体与高斯情形下的 PRG。
• 关键技术突破在于提出一种新的反集中度界：$\mathrm{Pr}(|p(X)| < \epsilon^d |p^{(d)}(X)|) = O(\epsilon)$，该界在高概率下成立，从而实现更紧密的误差控制。
• 替换方法中的误差界为 $O(nN\delta + d\sqrt{nN}\log(\delta^{-1})\delta^{1/d})$，通过设定 $\delta = \Omega(\epsilon^{3d}(dnN)^{-3d})$ 可使其达到 $O(\epsilon)$。
• 该 PRG 可通过每变量 $M = \Omega_c(d\log(dn\epsilon^{-1}))$ 比特高效计算，且在吸收对数因子后，总种子长度仍保持在所述范围内。
• 结果表明 $k = \Omega_c(d)$-独立性足以欺骗 PTF，且该构造避免了以往工作中对 $d$ 的指数依赖（如 $O(\epsilon^{-2^{O(d)}})$ 独立性）。