[논문 리뷰] Fast Matrix Multiplication: Limitations of the Laser Method

Andris Ambainis, Yuval Filmus외 1명|arXiv (Cornell University)|2014. 11. 20.

Tensor decomposition and applications참고 문헌 15인용 수 17

한 줄 요약

이 논문은 레이저 방법이 빠른 행렬 곱셈 알고리즘을 유도하는 데 사용되지만, Coppersmith–Winograd 항등식의 고차 텐서 거듭제곱을 취해도 행렬 곱셈 지수 ω < 2.3725를 달성하거나 ω = 2라는 추측을 증명할 수 없음을 증명함으로써 이 방법의 근본적인 한계를 규명한다. 저자들은 이전 방법들을 일반화하고, 텐서 거듭제곱이 성능 향상에 기여하는 이유를 설명하는 새로운 분석 프레임워크를 제안한다. 이 프레임워크는 이 접근법을 통해 더 이상의 향상이 불가능한 본질적 장벽을 드러낸다.

ABSTRACT

Until a few years ago, the fastest known matrix multiplication algorithm, due to Coppersmith and Winograd (1990), ran in time $O(n^{2.3755})$. Recently, a surge of activity by Stothers, Vassilevska-Williams, and Le Gall has led to an improved algorithm running in time $O(n^{2.3729})$. These algorithms are obtained by analyzing higher and higher tensor powers of a certain identity of Coppersmith and Winograd. We show that this exact approach cannot result in an algorithm with running time $O(n^{2.3725})$, and identify a wide class of variants of this approach which cannot result in an algorithm with running time $O(n^{2.3078})$; in particular, this approach cannot prove the conjecture that for every $ε&gt; 0$, two $n imes n$ matrices can be multiplied in time $O(n^{2+ε})$. We describe a new framework extending the original laser method, which is the method underlying the previously mentioned algorithms. Our framework accommodates the algorithms by Coppersmith and Winograd, Stothers, Vassilevska-Williams and Le Gall. We obtain our main result by analyzing this framework. The framework is also the first to explain why taking tensor powers of the Coppersmith-Winograd identity results in faster algorithms.

연구 동기 및 목표

• 레이저 방법을 Coppersmith–Winograd 항등식에 적용할 때, 행렬 곱셈 지수 ω < 2.3725를 달성할 수 있는지 여부를 규명하는 것.
• 레이저 방법을 사용해 ω = 2라는 추측, 즉 임의의 ε > 0에 대해 O(n^{2+ε}) 시간 내에 행렬 곱셈을 수행할 수 있는지 여부를 조사하는 것.
• Coppersmith–Winograd, Stothers, Vassilevska-Williams, Le Gall 등이 사용한 기존 레이저 방법 기법을 일반화하고 포함하는 새로운 분석 프레임워크를 개발하는 것.
• Coppersmith–Winograd 항등식의 고차 텐서 거듭제곱이 왜 더 빠른 알고리즘을 제공하는지 설명하기 위해, 이에 관련된 구조적 이점을 정량화하는 것.

제안 방법

• 저자들은 비2의 거듭제곱 텐서 거듭제곱과 가변 병합 폭을 고려할 수 있도록 일반화된 레이저 방법을 위한 새로운 프레임워크인 병합 값 $ V^{ ext{m}}_{ ho}( au) $ 를 도입한다.
• 텐서 거듭제곱의 渐近 성능에 대한 경계를 분석하기 위해, 분할 제한 값 $ V^{ ext{pr}}_{ ho}( au^{igotimes 2^r}) $ 를 정의한다.
• 이 프레임워크는 일관된 병합을 통합하고, Schönhage의 渐近 합 불등식을 사용하여 경계 랭크 경계와 행렬 곱셈 복잡도를 연결한다.
• 텐서 분해의 값을 경계하기 위해 지지 집합 위의 확률 분포에 대한 최적화를 사용한다.
• 이전 연구를 확장하여, 2의 거듭제곱뿐만 아니라 임의의 텐서 거듭제곱과 고정된 그룹화가 아닌 비유연한 병합 방식도 허용한다.
• 분석은 엔트로피 기반 경계와 볼록 최적화를 기반으로 하여 달성 가능한 성능의 상한을 유도한다.

실험 결과

연구 질문

• RQ1 레이저 방법을 Coppersmith–Winograd 항등식에 적용할 때, 행렬 곱셈 지수 ω < 2.3725를 달성할 수 있는가?
• RQ2 Coppersmith–Winograd 항등식의 임의의 텐서 거듭제곱을 사용해 ω = 2를 증명할 수 있는가?
• RQ3 왜 Coppersmith–Winograd 항등식의 고차 텐서 거듭제곱이 성능 향상에 기여하는가? 어떤 구조적 특성이 이를 가능하게 하는가?
• RQ4 레이저 방법은 비2의 거듭제곱 텐서 거듭제곱과 가변 병합 폭을 포함하도록 일반화될 수 있는가? 성능 손실 없이?
• RQ5 현재 병합 값 $ V^{ ext{m}}_{ ho}( au) $ 에 대한 상한 경계는 날카롭거나, 분석 향상 또는 새로운 기법을 위한 여유가 있는가?

주요 결과

• Coppersmith–Winograd 항등식에 레이저 방법을 적용해도, 사용하는 텐서 거듭제곱의 차수에 관계없이 실행 시간이 O(n^{2.3725})인 알고리즘이 도출되지 않는다.
• 일반화된 병합과 비2의 거듭제곱 텐서 거듭제곱을 사용하더라도, ω < 2.3078에 도달할 수 없으며, 이는 ω = 2를 증명하는 데 있어 뚜렷한 장벽임을 시사한다.
• 새로운 프레임워크는 일관된 병합과 가변 분할의 이점을 포착함으로써, 고차 텐서 거듭제곱이 성능 향상에 기여하는 이유를 설명한다.
• 병합 값 $ V^{ ext{m}}_{ ho}( au) $ 에 대한 상한 경계는 날카롭지 않으며, 향상된 분석 또는 새로운 기법을 통한 개선 가능성을 시사한다.
• r ≥ 2일 때, 분할 제한 값 $ V^{ ext{pr}}_{ ho}( au^{igotimes 2^r}) $ 는 하한과 상한 사이에 갭이 존재하며, 아직 해결되지 않은 최적화 과제를 시사한다.
• 저자들은 $ V^{ ext{pr}}_{ ho} $ 와 $ V^{ ext{m}}_{ ho} $ 의 상한 경계가 날카롭지 않다고 추측하며, 더 나은 구성 방식이 향상된 경계를 도출할 수 있을 것으로 보고 있다.