[논문 리뷰] Barriers for rectangular matrix multiplication

Matthias Christandl, François Le Gall외 2명|arXiv (Cornell University)|2020. 03. 06.

Tensor decomposition and applications참고 문헌 25인용 수 7

한 줄 요약

이 논문은 큰 코퍼스미스-윈그라드 텐서를 사용한 직사각형 행렬 곱셈의 渐近적 방법에 대해 정확한 수치적 장벽을 설정하며, 현재 기법으로는 이중 행렬 곱셈 지수 α의 값이 0.625 이하로 떨어지지 않는다는 것을 증명한다. 저자들은 텐서의 渐近적 스펙트럼에서 양자 함수 및 서포트 함수를 사용하여 기존 알고리즘의 한계를 엄밀히 유계화하며, 현재 방법으로는 이 장벽을 초월한 향상이 불가능하다는 것을 보여준다.

ABSTRACT

We study the algorithmic problem of multiplying large matrices that are rectangular. We prove that the method that has been used to construct the fastest algorithms for rectangular matrix multiplication cannot give algorithms with complexity $n^{p + 1}$ for $n imes n$ by $n imes n^p$ matrix multiplication. In fact, we prove a precise numerical barrier for this method. Our barrier improves the previously known barriers, both in the numerical sense, as well as in its generality. In particular, we prove that any lower bound on the dual exponent of matrix multiplication $α$ via the big Coppersmith-Winograd tensors cannot exceed 0.6218.

연구 동기 및 목표

• 현재 직사각형 행렬 곱셈 알고리즘이 ω(p)에 대한 상한과 하한 사이의 갭을 좁히지 못하는 이유를 이해하기 위해.
• 특히 큰 코퍼스미스-윈그라드 텐서에 기반한 기법들의 기본적인 한계를 규명하기 위해.
• 이중 지수 α에 대해 정확한 수치적 장벽을 증명하기 위해, 이는 ω=2일 때 가장 빠른 직사각형 행렬 곱셈을 특징짓는다.
• 정사각형 행렬을 넘어서 더 일반적인 직사각형 케이스로 알고리즘 장벽의 이해를 확장하기 위해.

제안 방법

• 저자들은 텐서의 渐近적 스펙트럼을 사용하여 행렬 곱셈 알고리즘의 한계를 분석한다.
• 특수한 대수적 성질을 지닌 두 종류의 실수 텐서 매개변수—양자 함수 및 서포트 함수—를 적용하여 유계를 도출한다.
• 이 방법은 큰 코퍼스미스-윈그라드 텐서 CW_q의 지지 집합 위의 확률 분포에 대한 볼록 최적화 문제로 공식화된다.
• 대칭군 S_q의 작용에 대해 평균을 취하는 대칭성 감소 기법을 적용하여 변수 수를 줄이면서도 최적성을 유지한다.
• 장벽는 국소 분포의 엔트로피와 텐서의 랭크를 포함한 비율의 최대값으로 계산되며, 수치적으로 평가 가능한 표현으로 이어진다.
• 텐서의 구조와 대칭성을 유지하는 조건 하에서 최적화가 수행되어 ω(p)에 대한 날카운 유계를 도출한다.

실험 결과

연구 질문

• RQ1 큰 코퍼스미스-윈그라드 텐서에 기반한 현재 행렬 곱셈 알고리즘의 기본 한계는 무엇인가? 특히 직사각형 행렬에 대해.
• RQ2 기존의 渐近적 방법을 사용하여 이중 지수 α를 0.625를 초월해 향상시킬 수 있는가?
• RQ3 왜 현재 기법들은 ω(p)에 대한 최고의 상한과 하한 사이의 갭을 좁히지 못하고 있는가?
• RQ4 양자 함수 및 서포트 함수는 텐서의 渐近적 스펙트럼 이론에서 장벽을 설정하는 데 어떤 역할을 하는가?
• RQ5 텐서 지지 집합의 대칭성은 행렬 곱셈 알고리즘의 유계 최적화에 어떻게 영향을 미치는가?

주요 결과

• 논문은 이중 행렬 곱셈 지수 α에 대해 정확한 수치적 장벽 0.625를 증명하며, 이는 큰 코퍼스미스-윈그라드 텐서에 기반한 어떤 알고리즘도 α > 0.625를 달성할 수 없음을 의미한다.
• 이 장벽는 양자 함수 및 서포트 함수를 사용하여 도출되었으며, 이는 渐近적 스펙트럼 이론에서 핵심 도구이다.
• p=2인 직사각형 행렬 곱셈에 대해 q=13일 때 ω(2)에 대해 약 3.1568의 장벽을 도출하며, q가 증가함에 따라 수익 감소 현상이 나타난다.
• 저자들은 현재 방법으로는 어떤 p > 0.625에 대해서도 ω(p) = 2 + p를 달성할 수 없음을 보여주며, 향상에 대한 경직된 한계를 나타낸다.
• 이 장벽는 이전의 모든 유계보다 더 날카롭고, 동일한 종류의 중간 텐서를 사용하는 모든 알고리즘에 일반적으로 적용된다.
• 결과적으로 이는 ω=2를 달성하거나 직사각형 행렬 곱셈의 갭을 좁히기 위해서는 현재 프레임워크를 초월한 새로운 기법이 필요하다는 것을 시사한다.