[論文レビュー] The Chasm at Depth Four, and Tensor Rank : Old results, new insights

Suryajith Chillara, Mrinal Kumar+2 more|arXiv (Cornell University)|Jun 14, 2016

Complexity and Algorithms in Graphs参考文献 7被引用数 9

ひとこと要約

本稿では、算術回路、論理式、定数深さ回路の深さ削減について、組合せ的根拠に基づく簡素化された証明を提示する。これは古典的な深さ4における溝の結果を同次論理式へ拡張する。深さ削減の構造的洞察を活用して、Razの結果の新たな洗練された証明を提示する。すなわち、任意の体上での算術論理式の超多項式的下界を示すために、$\omega(1) \leq d \leq n^{o(1)}$ の範囲で高いランクを持つ明示的テンソルの構成が可能である。

ABSTRACT

Agrawal and Vinay [AV08] showed how any polynomial size arithmetic circuit can be thought of as a depth four arithmetic circuit of subexponential size. The resulting circuit size in this simulation was more carefully analyzed by Korian [Koiran] and subsequently by Tavenas [Tav13]. We provide a simple proof of this chain of results. We then abstract the main ingredient to apply it to formulas and constant depth circuits, and show more structured depth reductions for them. In an apriori surprising result, Raz [Raz10] showed that for any $n$ and $d$, such that $ ω(1) \leq d \leq O\left(\frac{\log n}{\log\log n} ight)$, constructing explicit tensors $T:[n]^d ightarrow F$ of high enough rank would imply superpolynomial lower bounds for arithmetic formulas over the field $F$. Using the additional structure we obtain from our proof of the depth reduction for arithmetic formulas, we give a new and arguably simpler proof of this connection. We also extend this result for homogeneous formulas to show that, in fact, the connection holds for any $d$ such that $ω(1) \leq d \leq n^{o(1)}$.

研究の動機と目的

• 算術回路の深さ4における溝の結果を、組合せ的アプローチを用いてより単純に証明すること。
• 深さ削減フレームワークを同次算術論理式および定数深さ回路へ拡張し、追加の構造的性質を明らかにすること。
• 論理式における強化された構造を活用して、Razの結果（テンソルランクと算術論理式の下界の関係）の簡素化された証明を提供すること。
• 同次性の仮定の下で、元の $d = O(\log n / \log \log n)$ の範囲を超えて、Razの結果を $d \leq n^{o(1)}$ へ一般化すること。
• 論理式におけるテンソルランク上界が、非自明なセット-multilinear深さ3回路への還元に対応することを示し、構造的意義を明確にすること。

提案手法

• 回路の次数をレベルに分割する組合せ的深さ削減技術を用い、同次深さ4構造を保証する。
• 同次論理式に深さ削減を適用し、トップレベルの積ゲートの最小ファンインが $d \cdot d^{1/\Delta}/t$ に比例することを示す。ここで $\Delta$ は論理式の積深さを表す。
• 変数集合の分割を用いて、積に含まれるセット-multilinear単項式のみを分離するセット-multilinear化手順を導入する。
• 多項係数と因子数の指数的減衰を用いて、各セット-multilinear成分のテンソルランクを評価する。
• パラメータ $t$（ファンインの閾値）を最適化し、項の数と1項あたりのランクのバランスを取ることで、最終的な境界における非指数的分母を達成する。
• パラメータ $t = 2^{O(c)}$ を設定することで、$\operatorname{TensorRank}(f) \leq n^d / n^{d/\exp(c)}$ の境界を適用し、分母の指数が $d/\exp(c)$ のように成長することを保証する。

実験結果

リサーチクエスチョン

• RQ1 算術回路の深さ4における溝の結果を、組合せ的議論を用いてより単純に証明できるか？
• RQ2 一般回路とは対照的に、同次算術論理式の深さ削減において、どのような追加の構造的制約が生じるか？
• RQ3 論理式の深さ削減における改善された構造は、Razのテンソルランク下界接続のより強力またはより一般的な版を可能にするか？
• RQ4 高ランクテンソルが超多項式的論理式下界を示す範囲 $d$ を、元の $O(\log n / \log \log n)$ から超えることができるか？
• RQ5 論理式の文脈において、テンソルランク上界とセット-multilinear深さ3回路への還元との間に自然な関係があるか？

主な発見

• 本稿では、組合せ的分割論法を用いた、算術回路の深さ4における溝の結果の新たな初等的証明を提供する。
• サイズ $n^c$ の同次論理式について、計算される多項式のテンソルランクは、$d \leq n^{o(1)}$ であっても、$n^d / n^{d/\exp(c)}$ 以下である。
• 証明技法は定数深さ回路へも拡張可能であり、深さ削減された論理式におけるトップレベルの積ゲートが、最小で非自明な因子を有することを明らかにする。
• 著者らは、論理式におけるテンソルランク上界が、セット-multilinear深さ3回路への非自明な還元と本質的に同値であることを示す。
• セット-multilinear化ステップを遅らせることで、Razの結果の適用範囲を広げ、$d \leq n^{o(1)}$ まで拡張可能である。
• 最終的な境界 $\operatorname{TensorRank}(f) \leq n^d / n^{d/\exp(c)}$ は、項の数と1項あたりのランクのバランスを取ることで得られ、分母の指数が $d/\exp(c)$ のように成長する。