[論文レビュー] On top fan-in vs formal degree for depth-$3$ arithmetic circuits

Mrinal Kumar|arXiv (Cornell University)|Apr 10, 2018

Complexity and Algorithms in Graphs参考文献 12被引用数 3

ひとこと要約

本稿では、複素数体上で、任意の同次多項式（次数$d$）が、トップファンインが最大$d+1$である深さ3の算術回路によって近似可能であることを確立している。これは、トップファンインと形式的次数の間の強いトレードオフを示している。さらに、境界複雑度における新たなトレードオフも示している：サイズ$s$の回路で計算可能な次数$d$の多項式は、任意の$t \leq d$に対して、トップファンイン$s^{O(t)}$および形式的次数$s^{O(d/t)}$の深さ3回路によって近似可能であり、以前の下界が$s^{\Omega(\sqrt{d})}$であったのを改善している。

ABSTRACT

We show that over the field of complex numbers, \emph{every} homogeneous polynomial of degree $d$ can be approximated (in the border complexity sense) by a depth-$3$ arithmetic circuit of top fan-in at most $d+1$. This is quite surprising since there exist homogeneous polynomials $P$ on $n$ variables of degree $2$, such that any depth-$3$ arithmetic circuit computing $P$ must have top fan-in at least $Ω(n)$. As an application, we get a new tradeoff between the top fan-in and formal degree in an approximate analog of the celebrated depth reduction result of Gupta, Kamath, Kayal and Saptharishi [GKKS13]. Formally, we show that if a degree $d$ homogeneous polynomial $P$ can be computed by an arithmetic circuit of size $s$, then for every $t \leq d$, $P$ is in the border of a depth-$3$ circuit of top fan-in $s^{O(t)}$ and formal degree $s^{O(d/t)}$. To the best of our knowledge, the upper bound on the top fan-in in the original proof of [GKKS13] is always at least $s^{O(\sqrt{d})}$, regardless of the formal degree.

研究の動機と目的

• 深さ3算術回路における多項式の近似に関して、トップファンインと形式的次数のトレードオフを調査すること。
• Guptaら（2013年）の先行研究における深さ削減結果を改善し、トップファンインを低く抑えつつ形式的次数を高くすることで、その結果を向上させること。
• 境界複雑度の文脈において、形式的次数を高くすることで、トップファンインを著しく小さくできるかどうかを検討すること。
• 同次多項式を深さ3回路によって近似する際に必要なトップファンインのタイトな上界を確立すること。

提案手法

• 代数的近似（境界複雑度）を用いて深さ3回路を分析し、形式的次数が実際の多項式次数を上回ることを許容する。
• 任意の同次多項式（次数$d$）が$d+1$個の一次形式の対称関数であるという構造的結果を適用し、深さ3回路による近似を可能にする。
• 深さ削減技術を用いて一般回路を深さ4回路に変換し、その後、定理1.2を用いて下層を近似する。
• 双対性補題とFischerの公式を用いて、同次深さ5回路を、ファンインと次数を制御可能な非同次深さ3回路に変換する。
• 層間の和ゲートを統合して、近似保証を維持したまま、回路を単一の深さ3構造に縮約する。
• 複数の証明を通じてパラメータを追跡し、回路サイズ$s$と次数$d$の観点から、トップファンインおよび形式的次数のタイトな境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 形式的次数を増やすことで、深さ削減におけるトップファンインを$s^{\Omega(\sqrt{d})}$未満に抑えることは可能か？
• RQ2 任意の同次多項式（次数$d$）が、トップファンイン$d+1$の深さ3回路によって近似可能か？
• RQ3 サイズ$s$の回路で計算可能な多項式の境界複雑度は、任意の$t \leq d$に対して、トップファンイン$s^{O(t)}$および形式的次数$s^{O(d/t)}$で達成可能か？
• RQ4 トップファンインを小さく保ったまま、形式的次数をよりタイトに束縛できる自然な多項式クラスは存在するか？
• RQ5 一次形式の対称多項式に関する構造的結果を、近似ではなく正確な計算へと拡張可能か？

主な発見

• 任意の複素数体上の同次多項式（次数$d$）は、変数の数に関係なく、トップファンインが最大$d+1$である深さ3回路によって近似可能である。
• 任意の$t \leq d$に対して、サイズ$s$の回路で計算可能な次数$d$の多項式は、トップファンイン$s^{O(t)}$および形式的次数$s^{O(d/t)}$の深さ3回路によって近似可能であり、以前の結果を改善している。
• このトレードオフは、Guptaら（2013年）の元の深さ削減における$s^{\Omega(\sqrt{d})}$のトップファンイン下界を、高い形式的次数を許容しても上回っている。
• この結果は、境界複雑度において形式的次数を増やすことで、トップファンインを顕著に低減できることを示しており、深さ3回路設計における新たなパラダイムを示唆している。
• 本稿では、主なトレードオフ結果について、深さ4への削減を用いる証明と、Fischerの公式と双対性を用いる証明の2通りの証明を提供しており、両者とも同じパラメータ境界を導出している。
• トップファンインの上界は、例えば基本対称多項式のような特定の多項式に対してはタイトである。なぜなら、それらの正確な深さ3回路は$\Omega(n)$のトップファンインを必要とするため、近似の強力さが顕著に現れている。