[論文レビュー] A regularity lemma, and low-weight approximators, for low-degree polynomial threshold functions

Ilias Diakonikolas, Rocco A. Servedio+2 more|arXiv (Cornell University)|Sep 25, 2009

Complexity and Algorithms in Graphs参考文献 28被引用数 4

ひとこと要約

本稿では、ブール立方体上における次数dの多項式しきい値関数（PTF）に対して、正則性補題を提示する。任意の such PTF は、ほとんどのリーブがバランスの取れた変数影響を持つ正則に近いPTFに対応する定数深さの意思決定木に分解可能であることを示す。この構造を用いて、著者らは任意の次数dのPTFが、整数重みの総和がO(nd)である定数次数のǫ近似器を持つことを証明する。これは、対数的要因を除いて最適であり、複雑性理論および学習理論における、PTFの低重み近似に関する重要な問いに答えている。

ABSTRACT

We give a "regularity lemma" for degree-d polynomial threshold functions (PTFs) over the Boolean cube {-1,1}^n. This result shows that every degree-d PTF can be decomposed into a constant number of subfunctions such that almost all of the subfunctions are close to being regular PTFs. Here a "regular PTF is a PTF sign(p(x)) where the influence of each variable on the polynomial p(x) is a small fraction of the total influence of p. As an application of this regularity lemma, we prove that for any constants d \geq 1, \eps \geq 0, every degree-d PTF over n variables has can be approximated to accuracy eps by a constant-degree PTF that has integer weights of total magnitude O(n^d). This weight bound is shown to be optimal up to constant factors.

研究の動機と目的

• 低次の多項式しきい値関数（PTF）の構造的分解を、正則性補題を用いて開発すること。
• 任意の次数dのPTFが、整数重みの総和がO(nd)である定数次数のPTFによって近似可能であることを確立すること。
• この重みバウンドが、任意の次数の近似器を許容しても、対数的要因を除いて最適であることを証明すること。
• 一般のPTFに関する問題を、擬似ランダムな性質を持つ解析が容易な正則PTFに関する問題に還元するための一般化された道具を提供すること。
• 線形しきい値関数（LTF）に関する既存の低重み近似器の結果を、より高次のPTFへと拡張すること。

提案手法

• 各変数の影響が全影響のτ倍以下であるような多項式のτ正則性の概念を導入する。
• 任意の次数dのPTFが、深さdepth(d, τ) = (1/τ) · (d log(1/τ))^{O(d)} の意思決定木に分解可能であり、その大部分のリーブがτ-正則にτ近いPTFに対応することを示す正則性補題を証明する。
• 正則多項式に対する不変性原理と反集中不等式を用いて、近似における誤差確率を制御する。
• 良いリーブでは正則化されたPTFを、悪いリーブでは定数関数を組み合わせることで低重み近似器を構築し、最終的なPTFを定義するために多変数指示多項式Pρを用いる。
• コーシー・シュワーツの不等式を活用し、各Pρq(ρ)項のℓ2ノルムが有界であることに着目して、近似多項式Qの総重みを評価する。
• 明示的な構成により下界を確立し、任意の次数の近似器を許容しても、Ωd(nd/log n)およびΩd(nd−1)の重みが、ǫ近似に必要であることを示す。

実験結果

リサーチクエスチョン

• RQ1 任意の次数dのPTFは、正則に近いPTFに相当する少数の部分関数に分解可能か？
• RQ2 整数重みの総和がO(nd)である定数次数のPTFが、任意の次数dのPTFをǫ近似可能か？
• RQ3 O(nd)の重みバウンドを改善可能か、それとも対数的要因を除いて最適か？
• RQ4 任意の次数の近似器を許容しても、次数dのPTFをǫ近似するのに必要な最小重みは何か？
• RQ5 変数影響の正則性は、PTFの解析と近似を簡素化するためにどのように活用可能か？

主な発見

• 正則性補題が確立された：任意の次数dのPTFは、深さ(1/τ) · (d log(1/τ))^{O(d)} の意思決定木に分解可能であり、確率1−τ以上で、ランダム入力がτ-正則なPTFにτ近いリーブに到達する。
• n変数の任意の次数dのPTFは、整数重みの総和がO(nd)である定数次数のPTFによるǫ近似器を持つ。これは、対数的要因を除いて最適である。
• O(nd)の重みバウンドがタイトであることが示された：ある種の次数dのPTFは、定数次数のPTFによるǫ近似にΩd(nd/log n)の重みを必要とする。
• 任意の次数の近似器を許容しても、一部の次数dのPTFはΩd(nd−1)の重みを必要とし、改善の余地は限定的であることが示された。
• 証明技法は、正則性分解と反集中不等式、ℓ2ノルム推定を組み合わせることで、近似誤差を制御する。
• 線形しきい値関数（LTF）に関する既存の低重み近似器の結果を、より高次のPTFへと一般化し、構造的および近似理論的知見を統合した。