[論文レビュー] New algorithms and lower bounds for circuits with linear threshold gates

Ryan Williams|arXiv (Cornell University)|Jan 10, 2014

Complexity and Algorithms in Graphs参考文献 40被引用数 39

ひとこと要約

本稿では、$\mathsf{ACC} \circ \mathsf{THR}$ 回路のサブ指数的サイズに対して、すべての $2^n$ 入力において $2^n \cdot \mathrm{poly}(n)$ 時間で対称関数を評価するための新規アルゴリズムを提示する。重み付きしきい値行列積と行列乗算への還元を活用し、特に $2^{n - n^\varepsilon}$ 時間で満たし割り当てを数える非自明なアルゴリズムを構築することで、$\mathsf{NEXP}$ に対する強い回路下界と 0-1 整数線形計画法の改善アルゴリズムが得られる。

ABSTRACT

Let $ACC \circ THR$ be the class of constant-depth circuits comprised of AND, OR, and MOD$m$ gates (for some constant $m > 1$), with a bottom layer of gates computing arbitrary linear threshold functions. This class of circuits can be seen as a "midpoint" between $ACC$ (where we know nontrivial lower bounds) and depth-two linear threshold circuits (where nontrivial lower bounds remain open). We give an algorithm for evaluating an arbitrary symmetric function of $2^{n^{o(1)}}$ $ACC \circ THR$ circuits of size $2^{n^{o(1)}}$, on all possible inputs, in $2^n \cdot poly(n)$ time. Several consequences are derived: $\bullet$ The number of satisfying assignments to an $ACC \circ THR$ circuit of subexponential size can be computed in $2^{n-n^{\varepsilon}}$ time (where $\varepsilon > 0$ depends on the depth and modulus of the circuit). $\bullet$ $NEXP$ does not have quasi-polynomial size $ACC \circ THR$ circuits, nor does $NEXP$ have quasi-polynomial size $ACC \circ SYM$ circuits. Nontrivial size lower bounds were not known even for $AND \circ OR \circ THR$ circuits. $\bullet$ Every 0-1 integer linear program with $n$ Boolean variables and $s$ linear constraints is solvable in $2^{n-Ω(n/((\log M)(\log s)^{5}))}\cdot poly(s,n,M)$ time with high probability, where $M$ upper bounds the bit complexity of the coefficients. (For example, 0-1 integer programs with weights in $[-2^{poly(n)},2^{poly(n)}]$ and $poly(n)$ constraints can be solved in $2^{n-Ω(n/\log^6 n)}$ time.) We also present an algorithm for evaluating depth-two linear threshold circuits (a.k.a., $THR \circ THR$) with exponential weights and $2^{n/24}$ size on all $2^n$ input assignments, running in $2^n \cdot poly(n)$ time. This is evidence that non-uniform lower bounds for $THR \circ THR$ are within reach.

研究の動機と目的

• サブ指数的サイズの $\mathsf{ACC} \circ \mathsf{THR}$ 回路に対して、対称関数を効率的に評価するアルゴリズムの開発。このクラスは $\mathsf{ACC}$ と深さ2のしきい値回路の間にある。
• 回路解析におけるアルゴリズム的進展を活用し、$\mathsf{NEXP}$ に対する非自明な回路下界を確立すること。
• 制約がサブ指数的で大きな重みをもつ 0-1 整数線形計画法の最適化のための最新技術を改善すること。
• 非一様下界が $\mathsf{THR} \circ \mathsf{THR}$ 回路に対して達成可能であるという証拠を提供すること。

提案手法

• アルゴリズムは、$\mathsf{ACC} \circ \mathsf{THR}$ 回路の評価問題を、重み付きしきい値行列積 $M \circledast_w N$ の計算に還元する。
• 重みのリストをソートし、重みの値をグループ化するためのバケット化戦略を用いることで、不等式比較を保ちながらドメインサイズを $\{1, \dots, 2n\}$ に削減する。
• 計算を二つの部分に分割：バケット内比較（直接反復処理）とバケット間比較（行列乗算処理）。
• バケット内所属関係と相対順序をエンコードする行列 $M'$ と $N'$ を構築し、高速行列乗算アルゴリズムの適用を可能にする。
• パラメータを $n^{1+\delta}/s = n^{0.172}$ に設定することで、コッパースミスの行列乗算法を適用し、行列乗算ステップを $n^2 \cdot \mathrm{poly}(\log n)$ 時間で実行する。
• 同じコアの行列積技術を用いることで、$\mathsf{SYM} \circ \mathsf{THR}$ 回路に対しても同様のアプローチを拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 サブ指数的サイズの $\mathsf{ACC} \circ \mathsf{THR}$ 回路に対して、すべての $2^n$ 結果を $2^n \cdot \mathrm{poly}(n)$ 時間で対称関数を評価できるか？
• RQ2 このようなアルゴリズムが、$\mathsf{ACC} \circ \mathsf{THR}$ および $\mathsf{ACC} \circ \mathsf{SYM}$ 回路クラスにおいて、$\mathsf{NEXP}$ に対する非自明な下界を導くことができるか？
• RQ3 制約がサブ指数的で大きな重みをもつ 0-1 整数線形計画法の実行時間を改善できるか？
• RQ4 深さ2のしきい値回路（$\mathsf{THR} \circ \mathsf{THR}$）に対する非一様下界を証明する道筋が存在するか？

主な発見

• サイズ $2^{n^{o(1)}}$ の $\mathsf{ACC} \circ \mathsf{THR}$ 回路に対して、すべての $2^n$ 結果を $2^n \cdot \mathrm{poly}(n)$ 時間で評価するアルゴリズムが存在する。
• サブ指数的サイズの $\mathsf{ACC} \circ \mathsf{THR}$ 回路の満たし割り当て数は、深さやモジュラスに依存するある $\varepsilon > 0$ に対して $2^{n - n^\varepsilon}$ 時間で計算可能である。
• $\mathsf{NEXP}$ は準多項式サイズの $\mathsf{ACC} \circ \mathsf{THR}$ 回路をもたない。これはこのクラスに関して未解決であった問題を解決する。
• $n$ 変数と $s$ 制約をもつすべての 0-1 整数線形計画問題は、高確率で $2^{n - \Omega(n / ((\log M)(\log s)^5))} \cdot \mathrm{poly}(s,n,M)$ 時間で解ける。
• 係数が $[-2^{\mathrm{poly}(n)}, 2^{\mathrm{poly}(n)}]$ にあり、制約が $\mathrm{poly}(n)$ 個の場合は、実行時間が $2^{n - \Omega(n / \log^6 n)}$ 時間で、全探索より改善される。
• 指数的重みと $2^{n/24}$ サイズをもつ深さ2のしきい値回路（$\mathsf{THR} \circ \mathsf{THR}$）に対しても、$2^n \cdot \mathrm{poly}(n)$ 時間で評価可能であり、非一様下界が今や達成可能である可能性を示唆する。