[論文レビュー] Pseudorandom Generators for Polynomial Threshold Functions

Raghu Meka, David Zuckerman|arXiv (Cornell University)|Oct 21, 2009

Complexity and Algorithms in Graphs参考文献 24被引用数 4

ひとこと要約

本稿では、不変性原理と単調な1回読みの分岐プログラムを用いて、低次の多項式しきい値関数（PTF）およびハーフスペースの明示的擬似乱数生成器（PRG）を提示する。次数$d$のPTFに対しては、$ O(\mathrm{poly}(d)\mathrm{polylog}(n)/\mathrm{poly}(\epsilon)) $のシード長を達成し、ハーフスペースに対しては$ O(\log n + \log^2(1/\epsilon)) $を達成する。これは、誤差依存性に関する従来の境界を著しく改善し、学習および最適化アルゴリズムの確率的除去を可能にする。

ABSTRACT

We study the natural question of constructing pseudorandom generators (PRGs) for low-degree polynomial threshold functions (PTFs). We give a PRG with seed-length log n/eps^{O(d)} fooling degree d PTFs with error at most eps. Previously, no nontrivial constructions were known even for quadratic threshold functions and constant error eps. For the class of degree 1 threshold functions or halfspaces, we construct PRGs with much better dependence on the error parameter eps and obtain a PRG with seed-length O(log n + log^2(1/eps)). Previously, only PRGs with seed length O(log n log^2(1/eps)/eps^2) were known for halfspaces. We also obtain PRGs with similar seed lengths for fooling halfspaces over the n-dimensional unit sphere. The main theme of our constructions and analysis is the use of invariance principles to construct pseudorandom generators. We also introduce the notion of monotone read-once branching programs, which is key to improving the dependence on the error rate eps for halfspaces. These techniques may be of independent interest.

研究の動機と目的

• 次数$d$のPTFに対して、小さな誤差で誤魔化せる明示的PRGを構築すること。
• 特にハーフスペースに対して、PRGのシード長における誤差パラメータ$\epsilon$への依存性を改善すること。
• Goemans-Williamson Max-Cutのようなアルゴリズムの確率的除去に関連する球面キャップおよびハーフスペースの積集合へ拡張すること。
• 単調な1回読み分岐プログラムや確率的除去された不変性原理など、独立した価値を持つ技術の開発。
• 次数2のPTFおよび一般のハーフスペースに対して、非自明なサブ線形シード長を持つPRGを構築するという、長年の未解決問題を解決すること。

提案手法

• 低次のPTFが特定の擬似乱数分布とガウス測度の下で類似した振る舞いを示すことを、不変性原理を用いて示す。
• ハーフスペースPRGにおける誤差依存性の改善に、鍵となる構造的道具として単調な1回読み分岐プログラムを導入する。
• 8-次の独立分布を用いて、Ailon-Chazelleの回転構成を確率的除去し、重みベクトルの正則性を高い確率で保証する。
• 超合同性とモーメントの上限を用いて、擬似乱数入力下での変換された重みベクトルの$L^4$ノルムを制御する。
• 不変性原理と小領域マシン（例：Impagliazzo-Nisan-Wigderson）のPRGを組み合わせ、PTFのPRGを構築する。
• ハダマード変換と8-次の独立性から導かれる擬似乱数回転行列とPRGを合成することで、球面キャップのサンプリングを確率的除去する。

実験結果

リサーチクエスチョン

• RQ1 次数$d$の多項式しきい値関数に対して、$n$に関してサブ線形で$1/\epsilon$に関して多項式のシード長を持つ明示的PRGを構築可能か？
• RQ2 ハーフスペースPRGのシード長における誤差パラメータ$\epsilon$への最適依存性は何か？ かつ、$ O(\log n \cdot \log^2(1/\epsilon)/\epsilon^2) $より改善可能か？
• RQ3 不変性原理を用いて、小さなシード長で球面キャップおよびハーフスペースの積集合のPRGを構築可能か？
• RQ4 Ailon-Chazelleの回転法を確率的除去可能か？ これにより、擬似乱数入力下でも重みベクトルの正則性が保たれるか？
• RQ5 単調な1回読み分岐プログラムを用いて、ハーフスペースのPRG構築において誤差依存性を指数的に改善可能か？

主な発見

• 本稿では、次数$d$のPTFに対して、$ 2^{O(d)} \log n / \epsilon^{8d+3} $のシード長を持つ明示的PRGを構築した。これは、このような関数に対して初めての非自明な構成である。
• ハーフスペースに対しては、$ O(\log n + \log^2(1/\epsilon)) $のシード長を達成し、従来の最良境界$ O(\log n \cdot \log^2(1/\epsilon)/\epsilon^2) $を改善した。
• 球面キャップのPRGは、$ \epsilon \geq C \log n / n^{1/4} $の下で$ O(\log n + \log^2(1/\epsilon)) $のシード長を達成し、定数倍の差異を除き、現在の最先端と一致する。
• 8-次の独立分布の使用により、回転された重みベクトルが高確率で正則であることが保証され、不変性原理の適用が可能になる。
• ハーフスペースのシード長の改善は、単調なトリックにおけるNisanのPRGをINW PRGに置き換えることで達成され、誤差依存性を$ \log(1/\epsilon) $から$ \log^2(1/\epsilon) $に低減した。
• 不変性原理と確率的除去された変換を組み合わせることで、構造的関数クラスに対して効果的なPRGが得られ、学習および最適化への応用に影響を与える。