[論文レビュー] Improved Approximation of Linear Threshold Functions

Ilias Diakonikolas, Rocco A. Servedio|ArXiv.org|Oct 19, 2009

Complexity and Algorithms in Graphs参考文献 39被引用数 22

ひとこと要約

本稿は、線形しきい値関数の近似において2つの主要な進展を提示する：(1) 任意のn変数しきい値関数は、Inf(f)² · poly(1/ǫ)個の変数に依存するジャンパによってǫ-近似可能であることを証明しており、しきい値関数に対するフレッドギュートの定理に比べて指数的改善がなされている。また、(2) こうした関数は、poly(n) · 2~O(1/ǫ²/³)の有界な整数重みを用いてǫ-近似可能であり、新規の反拡散技術を用いることで、従来の境界を著しく改善している。

ABSTRACT

We prove two main results on how arbitrary linear threshold functions $f(x) = \sign(w\cdot x - θ)$ over the $n$-dimensional Boolean hypercube can be approximated by simple threshold functions. Our first result shows that every $n$-variable threshold function $f$ is $\eps$-close to a threshold function depending only on $\Inf(f)^2 \cdot \poly(1/\eps)$ many variables, where $\Inf(f)$ denotes the total influence or average sensitivity of $f.$ This is an exponential sharpening of Friedgut's well-known theorem \cite{Friedgut:98}, which states that every Boolean function $f$ is $\eps$-close to a function depending only on $2^{O(\Inf(f)/\eps)}$ many variables, for the case of threshold functions. We complement this upper bound by showing that $Ω(\Inf(f)^2 + 1/ε^2)$ many variables are required for $ε$-approximating threshold functions. Our second result is a proof that every $n$-variable threshold function is $\eps$-close to a threshold function with integer weights at most $\poly(n) \cdot 2^{ ilde{O}(1/\eps^{2/3})}.$ This is a significant improvement, in the dependence on the error parameter $\eps$, on an earlier result of \cite{Servedio:07cc} which gave a $\poly(n) \cdot 2^{ ilde{O}(1/\eps^{2})}$ bound. Our improvement is obtained via a new proof technique that uses strong anti-concentration bounds from probability theory. The new technique also gives a simple and modular proof of the original \cite{Servedio:07cc} result, and extends to give low-weight approximators for threshold functions under a range of probability distributions beyond just the uniform distribution.

研究の動機と目的

• しきい値関数をǫ-近似するために必要な変数数の既知の上界と下界の間のギャップを埋めること。
• しきい値関数の整数重み近似における誤差パラメータǫにかかる依存性を改善すること。
• 強力な反拡散境界に基づく、既存の結果を一般化・簡略化する新しい証明技法を開発すること。
• 一様分布を超えて、定数バイアス付き積分布およびK-独立分布への低重み近似器の適用範囲を拡張すること。

提案手法

• [OS08]のしきい値関数のフーリエ解析を、低影響力近似器を構築する基盤として用いる。
• ブルークとスモレンスキーの確率的多項式しきい値関数法を模倣した確率的構成を採用する。
• 確率論からの強力な反拡散境界を用いて、整数重みを有する線形形式の尾部挙動を制御する。
• ヘフディングの不等式に代えて、チエビシェフや[BR94]の尾部境界を適応することで、非一様分布に対しても同様のアプローチを一般化する。
• ǫ-臨界インデックスを用いて小さな重みを切り詰め、さまざまな分布下での近似誤差を抑えられる。
• 補題29を活用して、臨界インデックスと制御された誤差を持つ低重み近似器の存在を結びつける。

実験結果

リサーチクエスチョン

• RQ1 フレッドギュートの定理における2^O(Inf(f)/ǫ)の変数数の上限を、Inf(f)に多項式的依存にまで低下させることは可能か？
• RQ2 しきい値関数の整数重み近似において、ǫに最適な依存関係は何か？
• RQ3 一様分布に対して用いられた証明技法を、定数バイアス付き積分布やK-独立分布のような非一様分布へ拡張することは可能か？
• RQ4 より広いクラスの分布において、poly(n) · 2~O(1/ǫ²/³)の重み境界を達成することは可能か？

主な発見

• すべてのn変数しきい値関数は、Inf(f)² · poly(1/ǫ)個の変数に依存するジャンパによってǫ-近似可能であり、これはしきい値関数に対するフレッドギュートの2^O(Inf(f)/ǫ)の境界に比べて指数的改善である。
• Inf(f)² · poly(1/ǫ)という境界は、ほぼ最適であり、ǫ-近似にためにはΩ(Inf(f)² + 1/ǫ²)個の変数が必要であることが示されている。
• すべてのn変数しきい値関数は、大きさがpoly(n) · 2~O(1/ǫ²/³)以下の整数重みを用いてǫ-近似可能であり、従来のpoly(n) · 2~O(1/ǫ²)の境界を改善している。
• 新規の反拡散に基づく証明技法は、一様分布における[Ser07]の結果をモジュラーかつ簡略化された形で再導出可能である。
• この手法は、定数バイアス付き積分布およびK-独立分布へ一般化可能であり、これらの測度下でも同じ2~O(1/ǫ²/³)の重み境界が得られる。
• 下界により、特定の分布下では1/(n+2)-近似に2Ω(n)個の重みが必要であることが示されており、一般には2~O(1/ǫ²/³)の境界をpoly(n) · 2polylog(1/ǫ)に改善することは不可能であることが示唆されている。