[논문 리뷰] Faster Algorithms for Rectangular Matrix Multiplication

Gall, François Le|arXiv (Cornell University)|2012. 04. 04.

Complexity and Algorithms in Graphs인용 수 74

한 줄 요약

이 논문은 직사각형 행렬 곱셈을 위한 새로운 알고리즘을 제시하며, 지수 α에 대한 기존 최고의 상한을 향상시킨다. α > 0.30298로, Coppersmith(1997)가 기록한 이전 기록 α > 0.29462보다 향상되었다. 이 방법은 기본 구조의 고차수 텐서 거듭제곱을 사용하여 Coppersmith-Winograd 프레임워크를 확장하며, 비선형 프로그래밍을 통해 매개변수를 최적화하여 ω(1,1,k)에 대한 더 날카운 상한을 도출한다. 이는 전수 최단경로 및 희소 행렬 곱셈에 응용된다.

ABSTRACT

Let {\alpha} be the maximal value such that the product of an n x n^{\alpha} matrix by an n^{\alpha} x n matrix can be computed with n^{2+o(1)} arithmetic operations. In this paper we show that \alpha>0.30298, which improves the previous record \alpha>0.29462 by Coppersmith (Journal of Complexity, 1997). More generally, we construct a new algorithm for multiplying an n x n^k matrix by an n^k x n matrix, for any value k eq 1. The complexity of this algorithm is better than all known algorithms for rectangular matrix multiplication. In the case of square matrix multiplication (i.e., for k=1), we recover exactly the complexity of the algorithm by Coppersmith and Winograd (Journal of Symbolic Computation, 1990). These new upper bounds can be used to improve the time complexity of several known algorithms that rely on rectangular matrix multiplication. For example, we directly obtain a O(n^{2.5302})-time algorithm for the all-pairs shortest paths problem over directed graphs with small integer weights, improving over the O(n^{2.575})-time algorithm by Zwick (JACM 2002), and also improve the time complexity of sparse square matrix multiplication.

연구 동기 및 목표

• n × n^α 행렬과 n^α × n 행렬의 곱셈이 O(n^{2+ε}) 연산 내에서 수행될 수 있는 가장 큰 α 값에 대한 하한을 향상시키기 위해.
• 이전 방법보다 더 나은 점근적 복잡도를 갖는 직사각형 행렬 곱셈을 위한 새로운 알고리즘을 개발하기 위해.
• 기본 구조의 고차수 텐서 거듭제곱을 사용하여 Coppersmith-Winograd 프레임워크를 확장하여 ω(1,1,k)에 대한 개선된 상한을 도출하기 위해.
• 새로운 상한을 활용하여 전수 최단경로 및 희소 행렬 곱셈과 같은 기본 알고리즘의 시간 복잡도를 향상시키기 위해.

제안 방법

• 기본 구조 F_q의 고차수 텐서 거듭제곱으로 확장된 Coppersmith-Winograd 텐서화 프레임워크를 사용한다.
• 삼중선형 형식에서 ω(1,1,k)에 대한 상한을 유도하기 위해 Sch"onhage의 점근적 합 불등식을 적용한다.
• 제약 조건을 만족시키고 ω(1,1,k)의 상한을 최소화하기 위해 매개변수 a400, a103, ..., a211에 대한 비선형 최적화를 수행한다.
• MQ² = (q+2)²의 등식 조건을 도입하여 α에 대한 하한을 유도하며, 핵심 매개변수의 해석적 최적화가 필요하다.
• Maple와 고정밀 산술을 사용하여 최적화 문제를 해결하고 제약 조건을 수치적으로 검증한다.
• 텐서 곱의 매개변수에서 유도된 R과 Q의 비율 log R / log Q를 통해 ω(1,1,k)의 상한을 도출한다.

실험 결과

연구 질문

• RQ1 Coppersmith-Winograd 프레임워크는 고차수 텐서 거듭제곱으로 확장되어 직사각형 행렬 곱셈에 대한 상한을 향상시킬 수 있는가?
• RQ2 n × n^α × n^α × n 행렬 곱셈이 O(n^{2+ε}) 내에서 수행될 수 있는 가장 큰 α에 대한 최고의 도달 가능한 하한은 무엇인가?
• RQ3 텐서 구성에서 최적화된 매개변수 선택을 통해 k ≠ 1인 경우 ω(1,1,k)에 대한 더 날카운 상한을 도출할 수 있는가?
• RQ4 향상된 ω(1,1,k) 상한은 전수 최단경로와 같은 기본 알고리즘의 시간 복잡도를 어떻게 향상시키는가?
• RQ5 최적화 프레임워크는 이전 작업을 초월하여 α에 대한 비트리비얼한 향상을 체계적으로 달성할 수 있는가?

주요 결과

• 논문은 기존 기록인 α > 0.29462보다 향상된 새로운 하한 α > 0.3029805825293869820274449를 확립한다.
• k = 0.5302일 때, ω(1,1,0.5302) < 2.060396을 달성하여 이전 결과를 향상시킨다.
• k = 0.75일 때, ω(1,1,0.75) < 2.190087의 상한을 확립하며, 이는 이전 결과를 초월한다.
• k = 2일 때, ω(1,1,2) < 3.256689의 상한을 도출하며, 이는 이전 상한을 향상시킨다.
• 알고리즘은 정사각형 행렬의 Coppersmith-Winograd 복잡도를 회복하여 기존 결과와의 일致성을 확인한다.
• 향상된 상한은 소수의 정수 가중치를 갖는 전수 최단경로에 대해 O(n^{2.5302}) 시간 알고리즘을 도출하며, Zwick의 O(n^{2.575}) 알고리즘을 향상시킨다.