[논문 리뷰] Matrix multiplication algorithms from group orbits

Joshua A. Grochow, Cristopher Moore|arXiv (Cornell University)|2016. 12. 05.

Tensor decomposition and applications참고 문헌 26인용 수 5

한 줄 요약

이 논문은 유한군 작용에 대한 궤도로 행렬 곱셈 텐서를 분해하여 고도로 대칭적인 행렬 곱셈 알고리즘을 구성하는 새로운 군론적 프레임워크를 제시한다. 모든 $n$에 대해 랭크-$n^3 - n + 1$ 알고리즘을 얻는 통합된 격자 기반 구성법을 도출하며, 스트라센 알고리즘에 대한 현재까지 가장 명확한 증명을 제공하고, 대칭 설계와 격자와의 깊은 연관성을 드러낸다.

ABSTRACT

We show how to construct highly symmetric algorithms for matrix multiplication. In particular, we consider algorithms which decompose the matrix multiplication tensor into a sum of rank-1 tensors, where the decomposition itself consists of orbits under some finite group action. We show how to use the representation theory of the corresponding group to derive simple constraints on the decomposition, which we solve by hand for n=2,3,4,5, recovering Strassen's algorithm (in a particularly symmetric form) and new algorithms for larger n. While these new algorithms do not improve the known upper bounds on tensor rank or the matrix multiplication exponent, they are beautiful in their own right, and we point out modifications of this idea that could plausibly lead to further improvements. Our constructions also suggest further patterns that could be mined for new algorithms, including a tantalizing connection with lattices. In particular, using lattices we give the most transparent proof to date of Strassen's algorithm; the same proof works for all n, to yield a decomposition with $n^3 - n + 1$ terms.

연구 동기 및 목표

• 군 작용과 텐서 분해를 이용한 대칭 행렬 곱셈 알고리즘을 체계적으로 구성하는 방법을 개발하기 위해.
• 궤도 기반 구성법을 사용하여 $n=3,4,5$에 대해 스트라센 알고리즘의 고도로 대칭적인 형태를 복원하고 새로운 알고리즘을 발견하기 위해.
• 모든 $n$으로 일반화 가능한 통합된 격자 기반 구성법을 식별하여 텐서 랭크 $n^3 - n + 1$를 도출하기 위해.
• 특히 3-전이 군 작용과 단체 프레임과의 관련성을 포함해 대칭 알고리즘의 구조적 패턴을 밝혀내기 위해.
• 스트라센 알고리즘의 단순하고 투명한 증명을 제공하여 모든 $n$으로 자연스럽게 확장될 수 있도록 하기 위해.

제안 방법

• 유한군 작용에 의해 궤도를 이루는 랭크-1 항들로 텐서 $\text{MM}_n$을 분해하여 행렬 곱셈 알고리즘을 구성하기 위해.
• 군의 표현 이론을 활용해 분해에 대한 제약 조건을 유도하고, 작은 $n$에 대해 수작업으로 해를 구하기 위해.
• 벡터 $w_1, \dots, w_{n+1}$가 $\mathbb{C}^{n+1}$에서 단체 프레임을 이룬다는 조건을 만족하는 격자 기반 구성법을 사용하기 위해.
• 핵심 항등식을 유도하기 위해: $\text{MM}_n = \mathbf{1}^{\otimes 3} + \left(\frac{n}{n+1}\right)^3 \sum_{i,j,k \text{ distinct}} |w_i\rangle\langle w_j - w_i| \otimes |w_j\rangle\langle w_k - w_j| \otimes |w_k\rangle\langle w_i - w_k|$, 이는 $n^3 - n + 1$개의 항을 생성한다.
• $\sum_i |w_i\rangle = 0$ 및 $\frac{n}{n+1} \sum_i |w_i\rangle\langle w_i| = \mathbf{1}$라는 사실을 활용하여 텐서 수축을 단순화하고 정확성을 검증하기 위해.
• 서로 다른 인덱스를 가진 모든 삼중조합에 대한 대칭 합이 트레이스-제로 조건에 의해 혼합 항이 상쇄되며, 이로 인해 $\text{MM}_n$이 항등항을 제외하고 재구성됨을 보여주기 위해.

실험 결과

연구 질문

• RQ1 군 궤도와 표현 이론을 사용하여 고도로 대칭적인 행렬 곱셈 알고리즘을 체계적으로 구성할 수 있는가?
• RQ2 스트라센 알고리즘을 모든 $n$으로 일반화할 수 있는 통합된 구성법이 존재하는가? 이 경우 닫힌 형태의 랭크 표현식이 존재하는가?
• RQ3 격자와 단체 프레임은 어떻게 행렬 곱셈 분해를 단순화하고 통합하는 데 기여하는가?
• RQ4 $n+1$개의 점에 대한 3-전이 군 작용은 $n \geq 2$에 대해 유효한 행렬 곱셈 알고리즘을 이끌 수 있는가?
• RQ5 군 궤도 기반 대칭 구성법은 행렬 곱셈의 더 깊은 대수적 또는 기하학적 구조를 어떻게 드러내는가?

주요 결과

• 논문은 군 궤도를 사용하여 $n=2,3,4,5$에 대해 대칭 행렬 곱셈 알고리즘을 구성하며, 스트라센 알고리즘을 고도로 대칭적인 형태로 복원한다.
• 모든 $n$에 대해 격자 기반 구성법을 통해 유효한 행렬 곱셈 분해를 얻을 수 있으며, 텐서 랭크는 $n^3 - n + 1$이다. 이는 스트라센 알고리즘을 일반화한 것이다.
• 이 구성법은 현재까지 알려진 바 중에서 스트라센 알고리즘에 대한 가장 투명하고 압축된 증명을 제공하며, 대칭성과 트레이스 상쇄에만 의존한다.
• 이 방법은 핵심 분해가 $n+1$개의 단체 벡터에 대한 3-전이 군 작용에서 유래하며, 대칭군으로서 $S_{n+1}$이 작용한다는 것을 드러낸다.
• 분해에서 서로 다른 삼중조합 $i,j,k$에 대한 합은 $n^3 - n$개의 항을 차지하고, 항등항이 하나 더해져 총 $n^3 - n + 1$개의 랭크-1 성분이 된다.
• 정확성의 증명은 벡터 공간 항등식에 기반한다: $\sum_i |w_i\rangle = 0$ 및 $\frac{n}{n+1} \sum_i |w_i\rangle\langle w_i| = \mathbf{1}$, 이는 혼합 항의 상쇄와 $\text{MM}_n$의 복원을 보장한다.