[논문 리뷰] Fast Matrix Multiplication: Limitations of the Coppersmith-Winograd Method

Andris Ambainis, Yuval Filmus외 1명|arXiv (Cornell University)|2015. 06. 14.

Tensor decomposition and applications참고 문헌 18인용 수 25

한 줄 요약

이 논문은 빠른 행렬 곱셈을 위한 Coppersmith-Winograd 방법과 그 텐서 거듭제곱 확장의 근본적인 한계를 규명하며, 이 접근 방식이 O(n^2.3725) 또는 심지어 O(n^2.3078)의 시간 복잡도를 달성할 수 없다는 것을 증명한다. 또한 레이저 방법을 확장하는 새로운 프레임워크를 제안하여, Coppersmith-Winograd 항등식의 고차 텐서 거듭제곱이 왜 더 빠른 알고리즘을 만들어내는지 설명하면서, 이 길을 통한 향후 개선의 본질적 장벽도 밝혀낸다.

ABSTRACT

Until a few years ago, the fastest known matrix multiplication algorithm, due to Coppersmith and Winograd (1990), ran in time O(n2.3755). Recently, a surge of activity by Stothers, Vassilevska-Williams, and Le~Gall has led to an improved algorithm running in time O(n2.3729). These algorithms are obtained by analyzing higher and higher tensor powers of a certain identity of Coppersmith and Winograd. We show that this exact approach cannot result in an algorithm with running time O(n2.3725), and identify a wide class of variants of this approach which cannot result in an algorithm with running time $O(n^{2.3078}); in particular, this approach cannot prove the conjecture that for every e > 0, two n x n matrices can be multiplied in time O(n2+e).We describe a new framework extending the original laser method, which is the method underlying the previously mentioned algorithms. Our framework accommodates the algorithms by Coppersmith and Winograd, Stothers, Vassilevska-Williams and Le~Gall. We obtain our main result by analyzing this framework. The framework also explains why taking tensor powers of the Coppersmith--Winograd identity results in faster algorithms.

연구 동기 및 목표

• Coppersmith-Winograd 방법과 그 텐서 거듭제곱 확장이 더 빠른 행렬 곱셈 알고리즘을 달성할 수 있는 이론적 한계를 이해하는 것.
• 이전에 Coppersmith-Winograd 항등식의 고차 텐서 거듭제곱을 사용해 개선된 결과들이 성공한 이유를 규명하고, 이를 더 이상 추진할 수 있는지 여부를 밝히는 것.
• 현재의 접근 방식이 O(n^2.3725) 또는 O(n^2.3078)의 시간 복잡도를 달성할 수 없으며, 따라서 모든 ε > 0에 대해 O(n^{2+ε}) 시간 내에 행렬 곱셈을 수행할 수 있다는 추측을 증명할 수 없다는 것을 입증하는 것.
• Coppersmith-Winograd, Stothers, Vassilevska-Williams, Le~Gall의 알고리즘을 포함한 기존 알고리즘을 통합하고 일반화하는 새로운 레이저 방법 프레임워크를 개발하는 것.

제안 방법

• 논문은 빠른 행렬 곱셈 알고리즘의 핵심 기법인 레이저 방법을 일반화하는 새로운 프레임워크를 제안한다.
• Coppersmith-Winograd 항등식의 고차 텐서 거듭제곱을 분석하여 행렬 곱셈 알고리즘을 추출하는 과정을 체계화한다.
• 이 프레임워크는 Stothers, Vassilevska-Williams, Le~Gall 등의 이전 연구에서 사용된 분석 기법들을 통합하고 확장한다.
• 구조적이고 대수적 제약 조건을 사용하여 이 방법을 통해 달성 가능한 행렬 곱셈의 점근적 지수를 근사한다.
• 레이저 방법에 기반한 알고리즘의 일군의 클래스가 성능 향상에서 본질적으로 제한됨을 밝혀낸다.
• 이 방법은 항등식과 그 텐서 거듭제곱의 구조에 대해 스펙트럼적 및 조합적 분석을 적용하여 달성 가능한 지수의 상한을 유도한다.

실험 결과

연구 질문

• RQ1 Coppersmith-Winograd 방법과 그 텐서 거듭제곱 확장은 O(n^2.3725) 이하의 지수를 달성할 수 있는가?
• RQ2 Coppersmith-Winograd 항등식과 그 변형에 레이저 방법을 적용할 때의 본질적 한계는 무엇인가?
• RQ3 왜 Coppersmith-Winograd 항등식의 고차 텐서 거듭제곱이 더 빠른 알고리즘을 만들어내는가? 이 효과는 정량적으로 설명할 수 있는가?
• RQ4 이 방법을 사용하여 모든 ε > 0에 대해 O(n^{2+ε}) 시간 내에 행렬 곱셈을 수행할 수 있다는 추측을 증명할 수 있는가?
• RQ5 레이저 방법에 기반한 기존의 빠른 행렬 곱셈 알고리즘을 통합하고 일반화할 수 있는 통합 프레임워크를 개발할 수 있는가?

주요 결과

• Coppersmith-Winograd 방법과 그 텐서 거듭제곱 변형은 O(n^2.3725) 이하의 지수를 달성할 수 없다.
• 이 방법에 기반한 광범위한 알고리즘 클래스는 O(n^2.3078) 이하의 지수를 달성할 수 없다.
• 이 방법은 모든 ε > 0에 대해 O(n^{2+ε}) 시간 내에 행렬 곱셈을 수행할 수 있다는 추측을 증명할 수 없다.
• 새로운 프레임워크는 레이저 방법을 성공적으로 일반화하고 설명하며, Coppersmith-Winograd, Stothers, Vassilevska-Williams, Le~Gall의 알고리즘을 통합한다.
• 프레임워크는 Coppersmith-Winograd 항등식의 고차 텐서 거듭제곱이 왜 개선된 지수를 만들어내는지 구조적 이유를 규명한다.
• 분석을 통해 이 방법을 통한 점근적 개선을 방해하는 본질적 대수적 및 조합적 장벽이 드러난다.