[논문 리뷰] Faster Matrix Multiplication via Asymmetric Hashing

Ran Duan, Hongxun Wu외 1명|arXiv (Cornell University)|2022. 10. 18.

Tensor decomposition and applications인용 수 9

한 줄 요약

이 논문은 Coppersmith-Winograd 텐서의 고차항 분석에서 '조합 손실'을 줄이기 위해 비대칭 해싱 방법을 도입하여 빠른 행렬 곱셈의 지수 ω에 대한 더 낫게 조여진 경계를 가능하게 한다. 이 방법을 사용해 텐서의 여덟 번째 거듭제곱을 재분석함으로써 저자들은 ω < 2.371866의 새로운 상한을 확보하였으며, 이는 이전 최고 성과인 ω < 2.372860을 향상시키고, 이전에 추측된 2.3725의 하한을 뛰어넘는 결과이다.

ABSTRACT

Fast matrix multiplication is one of the most fundamental problems in algorithm research. The exponent of the optimal time complexity of matrix multiplication is usually denoted by $ω$. This paper discusses new ideas for improving the laser method for fast matrix multiplication. We observe that the analysis of higher powers of the Coppersmith-Winograd tensor [Coppersmith &amp; Winograd 1990] incurs a "combination loss", and we partially compensate for it using an asymmetric version of CW's hashing method. By analyzing the eighth power of the CW tensor, we give a new bound of $ω&lt;2.371866$, which improves the previous best bound of $ω&lt;2.372860$ [Alman &amp; Vassilevska Williams 2020]. Our result breaks the lower bound of $2.3725$ in [Ambainis, Filmus &amp; Le Gall 2015] because of the new method for analyzing component (constituent) tensors.

연구 동기 및 목표

• 고차항 텐서 거듭제곱의 재귀적 분석에서 발생하는 '조합 손실'을 다루어 빠른 행렬 곱셈 지수 ω의 향상에 제약을 가하는 문제를 해결하기 위해.
• 레이저 방법에서 인접한 재귀 수준 간의 구조적 손실을 상쇄하기 위한 새로운 비대칭 해싱 기법을 개발하기 위해.
• 향상된 정밀도로 Coppersmith-Winograd 텐서의 여덟 번째 거듭제곱을 재분석함으로써 ω의 상한을 향상시키기 위해.
• 이전에 추측된 2.3725의 ω 하한을 뛰어넘는 것, 이는 이전 분석 방법으로는 도달할 수 없다고 여겨졌던 것이다.
• 비대칭 해싱을 사용해 여덟 번째 거듭제곱만을 분석함으로써 이전에 더 높은 거듭제곱이 필요로 했던 경계를 초월할 수 있음을 보여주기 위해.

제안 방법

• 저자들은 고차항 텐서 거듭제곱의 재귀 수준 간 상호작용으로 인한 '조합 손실'을 줄이기 위해 특화된 비대칭 해싱 방법을 도입한다.
• 이 방법을 Coppersmith-Winograd 텐서의 여덟 번째 거듭제곱에 적용하여 레이저 방법의 열화 과정을 개선함으로써 더 많은 행렬 곱셈 성분을 유지한다.
• 핵심 기여는 제한된 분할 값에 대해 매개변수에 의존하는 경계를 사용하는 것으로, 각 성분에 대해 단일 경계가 아닌 다수의 값 쌍을 최적화함으로써 이루어진다.
• 최적화는 두 단계의 볼록 프로그래밍 접근법을 사용한다: 먼저 복잡한 항들을 안정화시키기 위해 중간 매개변수를 고정하고, 이후 소프트 최소화를 통해 마진을 정밀하게 조정하여 수렴성을 향상시킨다.
• 이 방법은 발전된 레이저 방법에 기반하고 있지만, 텐서 성분에 대한 비대칭 처리를 도입하여 구조적 이득을 더 잘 포착한다.
• 수치적 검증은 MATLAB과 CVX, Mosek를 사용해 수행되었으며, V_τ^(6)(CW₅^⊗⁸) > 7⁸ + 9임을 확인함으로써 ω ≤ 2.371866임을 검증하였다.

실험 결과

연구 질문

• RQ1 고차항 텐서 분석에서 발생하는 '조합 손실'을 체계적으로 줄일 수 있는가? 이를 통해 ω 경계를 향상시킬 수 있는가?
• RQ2 비대칭 방법이 레이저 방법에서 텐서 거듭제곱을 행렬 곱셈 성분으로 열화할 때 대칭 방법보다 구조적 이점이 있는가?
• RQ3 향상된 분석 기법을 사용해 여덟 번째 거듭제곱만을 분석함으로써 더 낫게 조여진 ω 경계를 확보할 수 있는가?
• RQ4 기존 분석 방법으로는 도달할 수 없다고 여겨졌던 이전에 추측된 2.3725의 ω 하한은 실제로 돌파 불가능한가?
• RQ5 매개변수 최적화와 성분별 값 쌍 선택은 레이저 방법의 효과성을 얼마나 향상시킬 수 있는가?

주요 결과

• 논문은 비대칭 해싱을 사용해 Coppersmith-Winograd 텐서의 여덟 번째 거듭제곱을 분석함으로써 ω < 2.371866의 새로운 상한을 확보하였다.
• 이 결과는 Alman와 Vassilevska Williams(2020)가 확보한 이전 최고 성과인 ω < 2.372860을 향상시켰다.
• 이 방법은 이전에 추측된 ω에 대한 2.3725 하한을 돌파하였으며, 이는 이전 분석 프레임워크에서는 도달할 수 없다고 여겨졌던 것이다.
• 두 번째 거듭제곱에 대해서는 ω < 2.374631을 도출하였으며, 이는 Coppersmith와 Winograd(1990)가 이전에 확보한 ω < 2.375477의 경계를 향상시킨 것이다.
• 이 개선은 텐서의 거듭제곱을 높이는 데서 비롯되지 않았고, 오히려 비대칭 성분 처리와 최적화된 매개변수 선택을 통해 낮은 거듭제곱의 분석을 정교화함으로써 달성되었다.
• 저자들은 결과의 검증을 위해 오픈소스 코드와 데이터를 제공하였으며, 제한된 분할 값의 재귀적 검증을 통해 결과를 확인하였다.