[논문 리뷰] Tensor Network Complexity of Multilinear Maps

Per Austrin, Petteri Kaski외 1명|arXiv (Cornell University)|2017. 12. 27.

Tensor decomposition and applications참고 문헌 49인용 수 8

한 줄 요약

이 논문은 다중선형 사상 평가를 위한 계산 모델로 초그래프 위의 텐서 네트워크를 제안하며, 행렬 곱셈과 푸리에 변환과 같은 빠른 알고리즘을 포괄함을 보여준다. 동형사상 수와 다중선형 사상에 대해 날카운 상한과 하한을 확립하여, 클리크 수세기 및 행렬 행렬식 계산과 같은 문제에서 기존의 복잡도 장벽을 뛰어넘지 못함을 증명한다. 이는 기저 텐서의 경계 랭크가 높더라도 성립한다.

ABSTRACT

We study tensor networks as a model of arithmetic computation for evaluating multilinear maps. These capture any algorithm based on low border rank tensor decompositions, such as $O(n^{ω+ε})$ time matrix multiplication, and in addition many other algorithms such as $O(n \log n)$ time discrete Fourier transform and $O^*(2^n)$ time for computing the permanent of a matrix. However tensor networks sometimes yield faster algorithms than those that follow from low-rank decompositions. For instance the fastest known $O(n^{(ω+ε)t})$ time algorithms for counting $3t$-cliques can be implemented with tensor networks, even though the underlying tensor has border rank $n^{3t}$ for all $t \ge 2$. For counting homomorphisms of a general pattern graph $P$ into a host graph on $n$ vertices we obtain an upper bound of $O(n^{(ω+ε)\operatorname{bw}(P)/2})$ where $\operatorname{bw}(P)$ is the branchwidth of $P$. This essentially matches the bound for counting cliques, and yields small improvements over previous algorithms for many choices of $P$. While powerful, the model still has limitations, and we are able to show a number of unconditional lower bounds for various multilinear maps, including: (a) an $Ω(n^{\operatorname{bw}(P)})$ time lower bound for counting homomorphisms from $P$ to an $n$-vertex graph, matching the upper bound if $ω= 2$. In particular for $P$ a $v$-clique this yields an $Ω(n^{\lceil 2v/3 ceil})$ time lower bound for counting $v$-cliques, and for $P$ a $k$-uniform $v$-hyperclique we obtain an $Ω(n^v)$ time lower bound for $k \ge 3$, ruling out tensor networks as an approach to obtaining non-trivial algorithms for hyperclique counting and the Max-$3$-CSP problem. (b) an $Ω(2^{0.918n})$ time lower bound for the permanent of an $n imes n$ matrix.

연구 동기 및 목표

• 다중선형 사상 평가의 산술 복잡도를 분석하기 위해 초그래프 위의 텐서 네트워크를 사용하는 통합 프레임워크를 개발하는 것.
• O(n^ω+ϵ) 행렬 곱셈 및 O(n log n) 푸리에 변환과 같은 알려진 빠른 알고리즘을 텐서 네트워크가 얼마나 잘 포괄하는지 이해하는 것.
• 핵심 다중선형 사상에 대한 조건 없는 시간 하한을 확립하여 텐서 네트워크 모델의 본질적 한계를 밝혀내는 것.
• 복잡도에 영향을 주는 구조적 매개변수, 예를 들어 분기 폭과 경계 랭크의 역할을 명확히 하는 것.

제안 방법

• 텐서가 다중선형 연산을 나타내고 초간선이 공유 인덱스를 나타내는 초그래프 위의 텐서 네트워크를 사용하여 다중선형 사상 평가를 모델링한다.
• 텐서의 계약 순서에 기반한 비용 함수를 정의하여 총 산술 연산 수를 최소화한다.
• 트리 분해에 기반한 동적 프로그래밍을 사용하여 최소비용 실행을 계산하며, 네트워크를 연결된 부분망으로 분할하는 데 기반한 재귀식을 사용한다.
• 임의의 실행이 비인접 텐서를 계약하지 않도록 재구성해도 비용이 증가하지 않음을 증명하여, 나무 구조의 계약 순서를 통해 효율적인 계산이 가능함을 보인다.
• 패턴 그래프 P에서 n 정점의 호스트 그래프로의 동형사상 수를 세는 문제를 분석하기 위해 이 모델을 적용하며, 복잡도의 핵심 매개변수로 패턴 그래프 P의 분기 폭 bw(P)를 사용한다.
• 텐서 네트워크의 구조적 분석을 통해 하한을 유도하여, 일부 사상이 분해 방식에 관계없이 지수적 또는 초다항식 시간이 필요함을 보여준다.

실험 결과

연구 질문

• RQ1 초그래프 위의 텐서 네트워크는 다중선형 사상에 대해 알려진 가장 빠른 알고리즘, 예를 들어 행렬 곱셈과 푸리에 변환을 포괄할 수 있는가?
• RQ2 패턴 그래프 P에서 호스트 그래프로의 동형사상 수를 세는 데 있어 텐서 네트워크의 계산 능력은 상한 측면에서 어떻게 평가될 수 있는가?
• RQ3 클리크 수세기나 행렬 행렬식 계산과 같은 문제에서 더 빠른 알고리즘을 달성하지 못하는 텐서 네트워크 모델의 본질적 한계는 무엇인가?
• RQ4 패턴 그래프 P의 분기 폭은 n 정점 그래프로의 P에서의 동형사상 수 세기의 복잡도와 어떻게 관련이 있는가?
• RQ5 텐서 네트워크 모델 하에서 행렬 행렬식과 클리크 수세기와 같은 기본적인 다중선형 사상에 대해 조건 없는 하한을 증명할 수 있는가?

주요 결과

• 패턴 그래프 P에서 n 정점의 호스트 그래프로의 동형사상 수를 세는 데 대해 O(n^{(ω+ϵ)bw(P)/2}) 상한이 확립되었으며, P가 클리크일 경우 기존의 클리크 수세기 결과와 일치한다.
• 동형사상 수를 세는 데 대해 Ω(n^{bw(P)}) 시간 하한이 증명되었으며, ω = 2일 경우 상한과 정확히 일치하여 이 경우 모델의 날카로움을 보여준다.
• v-클리크 수세기의 경우, 모델은 Ω(n^{⌈2v/3⌉}) 하한을 유도하여 텐서 네트워크를 통한 더 빠른 알고리즘 가능성을 배제한다.
• k ≥ 3인 k-균일 v-하이퍼클리크의 경우, Ω(n^v) 하한이 증명되어 하이퍼클리크 수세기 및 Max-3-CSP에 대한 비트ivial한 텐서 네트워크 알고리즘이 불가능함을 보여준다.
• n×n 행렬의 행렬식을 계산하는 데 대해 Ω(2^{0.918n}) 하한이 확립되어, 이 문제에 대해 텐서 네트워크가 지수시간 이하로는 도달할 수 없음을 보여준다.
• 논문은 일부 경우에 낮은 경계 랭크 분해보다 텐서 네트워크가 더 빠를 수 있음을 보여주며, 3t-클리크 수세기의 사례에서 기저 텐서의 경계 랭크가 n^{3t}이지만 O(n^{(ω+ϵ)t}) 시간 내에 계산 가능함을 보였다.