[论文解读] Degree-$d$ Chow Parameters Robustly Determine Degree-$d$ PTFs (and Algorithmic Applications)

Ilias Diakonikolas, Daniel M. Kane|arXiv (Cornell University)|Nov 7, 2018

Complexity and Algorithms in Graphs参考文献 66被引用 4

一句话总结

本文建立了度数-$d$ Chow 参数与度数-$d$ PTF 的 $\ell_1$-距离之间的一种鲁棒且与维度无关的关系，证明了 Chow 参数的 $\ell_2$-范数差异较小时，可推出函数之间的 $\ell_1$-距离也较小。这使得能够从噪声或近似参数中，高效地近似和学习度数-$d$ PTF，且算法性能与维度无关。

ABSTRACT

The degree-$d$ Chow parameters of a Boolean function $f: \{-1,1\}^n o \mathbb{R}$ are its degree at most $d$ Fourier coefficients. It is well-known that degree-$d$ Chow parameters uniquely characterize degree-$d$ polynomial threshold functions (PTFs) within the space of all bounded functions. In this paper, we prove a robust version of this theorem: For $f$ any Boolean degree-$d$ PTF and $g$ any bounded function, if the degree-$d$ Chow parameters of $f$ are close to the degree-$d$ Chow parameters of $g$ in $\ell_2$-norm, then $f$ is close to $g$ in $\ell_1$-distance. Notably, our bound relating the two distances is completely independent of the dimension $n$. That is, we show that Boolean degree-$d$ PTFs are {\em robustly identifiable} from their degree-$d$ Chow parameters. Results of this form had been shown for the $d=1$ case~\cite{OS11:chow, DeDFS14}, but no non-trivial bound was previously known for $d >1$. Our robust identifiability result gives the following algorithmic applications: First, we show that Boolean degree-$d$ PTFs can be efficiently approximately reconstructed from approximations to their degree-$d$ Chow parameters. This immediately implies that degree-$d$ PTFs are efficiently learnable in the uniform distribution $d$-RFA model~\cite{BenDavidDichterman:98}. As a byproduct of our approach, we also obtain the first low integer-weight approximations of degree-$d$ PTFs, for $d>1$. As our second application, our robust identifiability result gives the first efficient algorithm, with dimension-independent error guarantees, for malicious learning of Boolean degree-$d$ PTFs under the uniform distribution.

研究动机与目标

• 建立度数-$d$ PTF 从其度数-$d$ Chow 参数的鲁棒且与维度无关的识别方法。
• 解决一个开放问题：对于 $d > 1$，度数-$d$ Chow 参数是否能鲁棒地确定度数-$d$ PTF，此前仅对 $d=1$ 有相关结果。
• 在均匀分布下并存在恶劣噪声时，开发用于重构和学习度数-$d$ PTF 的高效算法。
• 为 $d > 1$ 提供首次低整数权重近似度数-$d$ PTF 的构造。
• 建立关于具有大量近零点的低次多项式几何结构的结构性结果，推广 Hilbert 基本定理至该设定。

提出的方法

• 证明度数-$d$ Chow 定理的鲁棒版本：若布尔度数-$d$ PTF $f$ 与有界函数 $g$ 的度数-$d$ Chow 参数之间的 $\ell_2$-范数差异较小，则 $f$ 与 $g$ 的 $\ell_1$-距离也较小。
• 引入一个结构性结果：若一个度数-$d$ 多项式在超立方体的许多点上接近零，则存在一个度数-$d$ 超曲面，恰好通过其中几乎所有点。
• 利用该结构性结果，证明许多度数-$d$ 多项式在 $f$ 与 $g$ 的不一致区域上为零，从而强制其 $\ell_1$-距离较小。
• 针对 $d=2$ 的情形，证明任一具有许多公共零点的大向量空间的度数-2 多项式中，必存在一个线性函数在几乎所有这些点上为零。
• 将此线性零化结果推广至更高 $d$，作为 Hilbert 基本定理在超立方体上低次多项式中的有效版本。
• 将鲁棒可识别性结果应用于设计在均匀分布 $d$-RFA 模型下以及在恶劣噪声下，用于学习与重构的高效算法。

实验结果

研究问题

• RQ1 度数-$d$ Chow 参数是否能在 $\ell_1$-范数下鲁棒地确定度数-$d$ PTF，且误差界与输入维度 $n$ 无关？
• RQ2 当低次多项式在超立方体的大量点上接近零时，其具有何种结构性特征？
• RQ3 是否可利用度数-$d$ PTF 的鲁棒识别能力，设计在噪声或数据被污染情况下的高效学习算法？
• RQ4 度数-$d$ PTF 的 $\ell_2$-Chow 距离与 $\ell_1$-距离之间，最紧密的定量关系为何？
• RQ5 能否利用此鲁棒框架，为 $d > 1$ 构造度数-$d$ PTF 的低整数权重近似？

主要发现

• 本文建立了鲁棒且与维度无关的界：若布尔度数-$d$ PTF $f$ 与有界函数 $g$ 的度数-$d$ Chow 参数之间的 $\ell_2$-范数差异不超过 $\epsilon$，则 $f$ 与 $g$ 的 $\ell_1$-距离不超过 $\kappa(\epsilon,d)$，其中 $\kappa$ 与 $n$ 无关。
• 该鲁棒可识别性结果使得首次能够设计出从近似度数-$d$ Chow 参数高效重构度数-$d$ PTF 的算法，且误差保证与 $n$ 无关。
• 本文首次为 $d > 1$ 构造了度数-$d$ PTF 的低整数权重近似，解决了长期存在的开放问题。
• 鲁棒可识别性结果导致了首次在均匀分布下对度数-$d$ PTF 的恶意（恶劣）噪声学习的高效算法，且具有与维度无关的误差保证。
• 关于具有大量近零点的多项式之结构性结果——即存在一个度数-$d$ 超曲面通过几乎所有这些点——构成了关键技术要素，并在此背景下推广了 Hilbert 基本定理。
• 本研究解决了关于度数-$d$ Chow 参数是否能对 $d > 1$ 鲁棒地确定度数-$d$ PTF 的开放问题，此前尽管对 $d=1$ 已有结果，但 $d > 1$ 的情况尚不明确。