[論文レビュー] Learning circuits with few negations

Blais, Eric, Clément L. Canonne+3 more|arXiv (Cornell University)|Oct 30, 2014

Machine Learning and Algorithms参考文献 2被引用数 6

ひとこと要約

この論文は、少ない否定ゲートを備えたブール回路の学習可能性を研究し、マークフの定理を拡張する構造的特徴付けを導入する。t 個の否定を含む回路に対する一様分布学習アルゴリズムを提示し、実行時間は n^{O(2^t \sqrt{n}/\varepsilon)} であり、メンバークエリの数にほぼ一致する下界 2^{\Omega(2^t \sqrt{n}/\varepsilon)} を確立することで、広範なパrameter範囲においてアルゴリズムが本質的に最適であることを示している。

ABSTRACT

Monotone Boolean functions, and the monotone Boolean circuits that compute them, have been intensively studied in complexity theory. In this paper we study the structure of Boolean functions in terms of the minimum number of negations in any circuit computing them, a complexity measure that interpolates between monotone functions and the class of all functions. We study this generalization of monotonicity from the vantage point of learning theory, giving near-matching upper and lower bounds on the uniform-distribution learnability of circuits in terms of the number of negations they contain. Our upper bounds are based on a new structural characterization of negation-limited circuits that extends a classical result of A. A. Markov. Our lower bounds, which employ Fourier-analytic tools from hardness amplification, give new results even for circuits with no negations (i.e. monotone functions).

研究の動機と目的

• 単調関数の一般化として、制限された否定ゲートを備えたブール関数の学習可能性を理解すること。
• 反転複雑度に関するマークフの古典的定理を、有界な入れ替え複雑度を持つ関数の広いクラスへ拡張すること。
• メンバークエリの複雑度に関して既知の下界と一致する、t 個の否定を含む回路のための一様分布学習アルゴリズムを開発すること。
• このような回路のメンバークエリ複雑度に対してタイトな下界を確立すること、単調関数（t=0）の場合でさえも。

提案手法

• 任意の k-入れ替えブール関数が f(x) = h(m1(x), ..., mk(x)) の形に表現可能であることを証明することで、マークフの定理を拡張し、各 mi が単調関数で h がパリティ関数またはその否定であることを示す。
• この構造的特徴付けを用いて、単調関数のフーリエに基づく学習アルゴリズム（Bshouty と Tamon のもの）を t 個の否定を含む回路へ一般化する。
• フーリエ解析的手法とハードネス増幅技術を用いて、メンバークエリ複雑度の下界を導出する。
• 関数合成を用いて、学習が難しい単調関数から、学習が難しい k-入れ替え関数への還元を実施する。関数は PAR′_{k,r} を用いる。
• ノイズ安定性の境界と加法的チェルノフ型集中を用いて、PAR′_{k,r} が小さな誤差 η = e^{-k^2/(2r)} でパリティ関数に近いことを示す。
• k-入れ替え関数の高速な学習アルゴリズムが存在すれば、学習が難しい単調関数に対してもより高速なアルゴリズムが得られることを示し、既知の下界に反するという矛盾を導く。

実験結果

リサーチクエスチョン

• RQ1 有限個の否定ゲートで計算可能なブール関数の構造を特徴付けられるか？
• RQ2 一様分布下で t 個の否定を含む回路を学習する際の最適なクエリ複雑度は何か？
• RQ3 否定の数がブール関数の学習可能性に与える影響は何か？また、近似的最適な境界を達成できるか？
• RQ4 t-否定回路の学習アルゴリズムは最適か？また、どのような下界を示せるか？

主な発見

• 任意の k-入れ替えブール関数は、正確に k 個の単調関数とパリティ関数またはその否定との合成として表現可能である。
• Cn_t（高々 t 個の否定で計算可能な関数）に属するすべての関数は、T = O(2^t) を満たす h(m1, ..., mT) の形に表現可能であり、ここで h はパリティ関数またはその否定、各 mi は単調関数である。
• 提案された学習アルゴリズムは、一様分布下で誤差 ε まで学習する際、実行時間 n^{O(2^t \sqrt{n}/\varepsilon)} で動作する。
• t ≤ (1/28) log n かつ ε ∈ [1/n^{1/12}, 1/2 - c] の場合、メンバークエリ数にほぼ一致する下界 2^{\Omega(2^t \sqrt{n}/\varepsilon)} が成立し、アルゴリズムが本質的に最適であることを示している。
• 単調関数（t=0）の場合、下界は既存の最良の先行研究の下界と一致し、精度レベルの範囲が広がった形で拡張されている。
• 下界構成により、入れ替え数が少ない関数に対しても、誤差が小さい場合には学習が困難であることが示され、その困難さは否定の数に比例して増大する。