[論文レビュー] Tensor Network Complexity of Multilinear Maps

Per Austrin, Petteri Kaski+1 more|arXiv (Cornell University)|Dec 27, 2017

Tensor decomposition and applications参考文献 49被引用数 8

ひとこと要約

本稿では、多重線形写像の評価のための計算モデルとして、超グラフ上のテンソルネットワークを導入し、行列積やフーリエ変換などの高速アルゴリズムを捉えることを示している。同様に、ホモモルフィズムの数え上げと多重線形写像のためのタイトな上界・下界を確立し、クライQUE数え上げやパーマネントの計算といった問題において、既知の複雑性の壁を破ることはないことを証明している。これは、周囲ランクが高くなるようなテンソルを含む場合でも同様に成り立つ。

ABSTRACT

We study tensor networks as a model of arithmetic computation for evaluating multilinear maps. These capture any algorithm based on low border rank tensor decompositions, such as $O(n^{ω+ε})$ time matrix multiplication, and in addition many other algorithms such as $O(n \log n)$ time discrete Fourier transform and $O^*(2^n)$ time for computing the permanent of a matrix. However tensor networks sometimes yield faster algorithms than those that follow from low-rank decompositions. For instance the fastest known $O(n^{(ω+ε)t})$ time algorithms for counting $3t$-cliques can be implemented with tensor networks, even though the underlying tensor has border rank $n^{3t}$ for all $t \ge 2$. For counting homomorphisms of a general pattern graph $P$ into a host graph on $n$ vertices we obtain an upper bound of $O(n^{(ω+ε)\operatorname{bw}(P)/2})$ where $\operatorname{bw}(P)$ is the branchwidth of $P$. This essentially matches the bound for counting cliques, and yields small improvements over previous algorithms for many choices of $P$. While powerful, the model still has limitations, and we are able to show a number of unconditional lower bounds for various multilinear maps, including: (a) an $Ω(n^{\operatorname{bw}(P)})$ time lower bound for counting homomorphisms from $P$ to an $n$-vertex graph, matching the upper bound if $ω= 2$. In particular for $P$ a $v$-clique this yields an $Ω(n^{\lceil 2v/3 ceil})$ time lower bound for counting $v$-cliques, and for $P$ a $k$-uniform $v$-hyperclique we obtain an $Ω(n^v)$ time lower bound for $k \ge 3$, ruling out tensor networks as an approach to obtaining non-trivial algorithms for hyperclique counting and the Max-$3$-CSP problem. (b) an $Ω(2^{0.918n})$ time lower bound for the permanent of an $n imes n$ matrix.

研究の動機と目的

• 多重線形写像評価の算術的複雑性を統一的な枠組みでモデル化・分析するため、超グラフ上のテンソルネットワークを用いる。
• O(n^ω+ϵ)の行列積やO(n log n)のフーリエ変換といった既知の高速アルゴリズムを、テンソルネットワークがどの程度捉えられるかを理解する。
• 重要な多重線形写像における、無条件の時間下界を確立し、テンソルネットワークモデルの本質的限界を示す。
• 複雑性に与える構造的パラメータ（例えばブランチ幅や周囲ランク）の役割を明確化する。

提案手法

• テンソルが多重線形演算を表し、ハイパーエッジが共有インデックスを表す超グラフ上のテンソルネットワークを用いて、多重線形写像評価をモデル化する。
• テンソルの縮約順序に基づくコスト関数を定義し、合計算術演算数を最小化する。
• 木分解に基づく動的計画法を用いて最小コスト実行を計算し、ネットワークを連結な部分ネットワークに分割する再帰的関係を用いる。
• 任意の実行が、非隣接テンソルの縮約を回避するように再構成可能であり、コストを増加させずに可能であることを証明し、木構造の縮約順序による効率的計算を可能にする。
• パターングラフPからn頂点のホストグラフへのホモモルフィズムの数え上げを分析する際、ブランチ幅bw(P)を主要な複雑性パラメータとして用いる。
• 構造的解析を用いて下界を導出し、特定の写像が、分解の仕方に関わらず指数的または超多項式時間が必要であることを示す。

実験結果

リサーチクエスチョン

• RQ1 超グラフ上のテンソルネットワークは、行列積やフーリエ変換といった、最も高速な既知のアルゴリズムを捉えることができるか？
• RQ2 パターングラフPからホストグラフへのホモモルフィズムの数え上げに関して、テンソルネットワークの上界としての計算能力はどの程度か？
• RQ3 クライQUE数え上げやパーマネント計算といった問題において、テンソルネットワークモデルに本質的な限界があるか？
• RQ4 パターングラフPのブランチ幅は、n頂点グラフへのPからのホモモルフィズムの数え上げの複雑性とどのように関係するか？
• RQ5 テンソルネットワークモデル下で、パーマネントやクライQUE数え上げといった基本的な多重線形写像に対して、無条件の下界を証明できるか？

主な発見

• パターングラフPからn頂点ホストグラフへのホモモルフィズムの数え上げに対して、O(n^{(ω+ϵ)bw(P)/2})の上界が確立され、PがクライQUEの場合、既知のクライQUE数え上げの境界と一致する。
• ホモモルフィズムの数え上げに対して、Ω(n^{bw(P)})の時間下界が証明され、ω = 2の場合に上界と一致するため、この場合におけるモデルのタイトさが示される。
• v-クライQUE数え上げに対して、Ω(n^{⌈2v/3⌉})の下界が導かれ、テンソルネットワークによるより高速なアルゴリズムが不可能であることが示される。
• k ≥ 3のk-一様v-ハイパークライQUEに対して、Ω(n^v)の下界が証明され、ハイパークライQUE数え上げやMax-3-CSPに対する非自明なテンソルネットワークアルゴリズムが不可能であることが示される。
• n×n行列のパーマネントの計算に対して、Ω(2^{0.918n})の下界が確立され、この問題に対してテンソルネットワークが指数的でない時間で実行不可能であることが示される。
• 本稿では、テンソルネットワークが低周囲ランク分解を上回ることもあることを示しており、3t-クライQUE数え上げの例では、元のテンソルの周囲ランクがn^{3t}であるが、O(n^{(ω+ϵ)t})時間で計算可能である。