[論文レビュー] Degree-$d$ Chow Parameters Robustly Determine Degree-$d$ PTFs (and Algorithmic Applications)

Ilias Diakonikolas, Daniel M. Kane|arXiv (Cornell University)|Nov 7, 2018

Complexity and Algorithms in Graphs参考文献 66被引用数 4

ひとこと要約

本稿は、次数$d$のチャウパラメータと次数$d$のPTFの$\ell_1$-距離の間で、次元に依存しない強力な関係を確立し、$\ell_2$-ノルムの差が小さい場合、$\ell_1$-距離も小さいことを証明する。これにより、ノイズや近似パラメータからの次数$d$のPTFの近似および学習を効率的に行う、次元に依存しないアルゴリズムが可能になる。

ABSTRACT

The degree-$d$ Chow parameters of a Boolean function $f: \{-1,1\}^n o \mathbb{R}$ are its degree at most $d$ Fourier coefficients. It is well-known that degree-$d$ Chow parameters uniquely characterize degree-$d$ polynomial threshold functions (PTFs) within the space of all bounded functions. In this paper, we prove a robust version of this theorem: For $f$ any Boolean degree-$d$ PTF and $g$ any bounded function, if the degree-$d$ Chow parameters of $f$ are close to the degree-$d$ Chow parameters of $g$ in $\ell_2$-norm, then $f$ is close to $g$ in $\ell_1$-distance. Notably, our bound relating the two distances is completely independent of the dimension $n$. That is, we show that Boolean degree-$d$ PTFs are {\em robustly identifiable} from their degree-$d$ Chow parameters. Results of this form had been shown for the $d=1$ case~\cite{OS11:chow, DeDFS14}, but no non-trivial bound was previously known for $d >1$. Our robust identifiability result gives the following algorithmic applications: First, we show that Boolean degree-$d$ PTFs can be efficiently approximately reconstructed from approximations to their degree-$d$ Chow parameters. This immediately implies that degree-$d$ PTFs are efficiently learnable in the uniform distribution $d$-RFA model~\cite{BenDavidDichterman:98}. As a byproduct of our approach, we also obtain the first low integer-weight approximations of degree-$d$ PTFs, for $d>1$. As our second application, our robust identifiability result gives the first efficient algorithm, with dimension-independent error guarantees, for malicious learning of Boolean degree-$d$ PTFs under the uniform distribution.

研究の動機と目的

• 次数$d$のPTFをその次数$d$のチャウパラメータから、次元に依存しない強力な同定を確立すること。
• 次数$d > 1$のとき、次数$d$のチャウパラメータが次数$d$のPTFを強力に決定するかという未解決問題を解き、$d=1$のときのみ既知であった先行結果を拡張すること。
• 一様分布下および悪意あるノイズの存在下で、次数$d$のPTFの再構成と学習のための効率的アルゴリズムを開発すること。
• 次数$d > 1$のための、最初の低整数重み近似を構築すること。
• 多くの近似ゼロ点を持つ低次多項式の幾何的構造に関する構造的結果を確立すること。これは、この文脈におけるヒルベルトの基底定理の一般化である。

提案手法

• 次数$d$のチャウの定理の強力なバージョンを証明する：もしブール関数$f$（次数$d$のPTF）と有界関数$g$の間の次数$d$のチャウパラメータの$\ell_2$-ノルムの差が小さいならば、$f$と$g$の$\ell_1$-距離も小さい。
• 構造的結果を導入する：もし次数$d$の多項式がハイパーキューブ上の多数の点でゼロに近い値を取るならば、そのほとんどすべての点を正確に通る次数$d$の超曲面が存在する。
• この構造的結果を用いて、$f$と$g$の不一致領域において多くの次数$d$の多項式がゼロになることを示し、これにより$\ell_1$-距離が小さいことを強制する。
• $d=2$の場合、多くの共通ゼロ点を持つ次数2多項式の大きな線形空間は、ほとんどすべての点でゼロになる線形関数を含むことを証明する。
• この線形消失結果を高次$d$に一般化し、ハイパーキューブ上での低次多項式に対して、ヒルベルトの基底定理の有効版を提供する。
• この強力な同定可能性結果を応用し、一様分布下の$d$-RFAモデルおよび悪意あるノイズ下での効率的学習と再構成のためのアルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 次数$d$のチャウパラメータが、入力次元$n$に依存しない誤差境界のもとで、$\ell_1$-ノルムにおいて次数$d$のPTFを強力に決定できるか？
• RQ2 低次多項式がハイパーキューブ上の多数の点でゼロに近い値を取るとき、どのような構造的性質を示すか？
• RQ3 次数$d$のPTFの強力な同定が、ノイズや汚染されたデータ下での効率的学習アルゴリズムの設計にどう利用できるか？
• RQ4 次数$d$のPTFについて、$\ell_2$-チャウ距離と$\ell_1$-距離の間の最もタイトな定量的関係は何か？
• RQ5 この強力な枠組みを用いて、$d > 1$のための低整数重み近似を構築できるか？

主な発見

• 本稿は、強力で次元に依存しない境界を確立する：もしブール次数$d$のPTF$f$と有界関数$g$の間の次数$d$のチャウパラメータの差の$\ell_2$-ノルムが$\epsilon$以下であるならば、$f$と$g$の$\ell_1$-距離は$\kappa(\epsilon,d)$以下であり、ここで$\kappa$は$n$に依存しない。
• この強力な同定可能性結果により、近似次数$d$のチャウパラメータから次数$d$のPTFを再構成する、最初の効率的アルゴリズムが可能になり、$n$に依存しない誤差保証が得られる。
• 本稿は、$d > 1$のための次数$d$のPTFの最初の低整数重み近似の構築を提供し、長年の未解決問題を解決する。
• 強力な同定可能性結果は、一様分布下で悪意ある（nasty）ノイズの下での次数$d$のPTFの学習のための、最初の効率的アルゴリズムを導く。この場合も次元に依存しない誤差保証が得られる。
• 多くの近似ゼロ点を持つ多項式に関する構造的結果—すなわち、ほとんどすべての点を通る次数$d$の超曲面が存在すること—は、主要な技術的要素を占め、この文脈におけるヒルベルトの基底定理を一般化する。
• 次数$d > 1$のとき、次数$d$のチャウパラメータが次数$d$のPTFを強力に決定するかという未解決問題が解決され、$d=1$のときの既知の結果とは異なり、$d > 1$の場合はこれまで未知であった。