[논문 리뷰] The tensor rank of 5x5 matrices multiplication is bounded by 98 and its border rank by 89

Alexandre Sedoglavic, Alexey Smirnov|arXiv (Cornell University)|2021. 01. 29.

Algorithms and Data Compression참고 문헌 19인용 수 5

한 줄 요약

이 논문은 98개의 곱셈을 사용하여 5×5 행렬 곱셈에 대한 새로운 비가환 알고리즘을 제안하며, 텐서 랭크에 대한 상한 98을 확립한다. 또한 근사 알고리즘을 도입하여 단지 89개의 곱셈으로도 가능하게 하여 경계 랭크에 대한 상한 89를 도출한다. 이는 이전의 상한을 크게 향상시키며, 소규모 행렬 곱셈 복잡도에 대한 이해를 심화시킨다.

ABSTRACT

We present a non-commutative algorithm for the product of 3x5 by 5x5 matrices using 58 multiplications. This algorithm allows to construct a non-commutative algorithm for multiplying 5x5 (resp. 10x10, 15x15) matrices using 98 (resp. 686, 2088) multiplications. Furthermore, we describe an approximate algorithm that requires 89 multiplications and computes this product with an arbitrary small error.

연구 동기 및 목표

• 5×5 행렬 곱셈의 텐서 랭크와 경계 랭크에 대한 기존 알려진 상한을 향상시키는 것.
• 오직 58개의 곱셈만을 사용하여 3×5 × 5×5 행렬 곱셈에 대한 명시적 비가환 알고리즘을 개발하는 것.
• 임의로 작은 오차를 가진 5×5 행렬 곱셈에 대해 경계 랭크 89를 달성하는 근사 알고리즘을 구축하는 것.
• 텐서 곱 분해를 사용하여 10×10 및 15×15와 같은 더 큰 행렬 크기로 결과를 확장하는 것.
• 최적의 원자 텐서 구성 요소를 식별하여 효율적인 행렬 곱셈 알고리즘 데이터베이스에 기여하는 것.

제안 방법

• 저자들은 이차형의 정교한 텐서 분해에서 유도된 58개의 곱셈을 사용하는 3×5 × 5×5 행렬 곱셈에 대한 비가환 알고리즘을 구성한다.
• 이 알고리즘을 재귀적 텐서 곱 구조에 통합하여 98개의 곱셈을 사용하는 5×5×5 행렬 곱셈 체계를 유도한다.
• 작은 매개변수 ε를 갖는 매개변수화된 텐서를 사용하여 근사 알고리즘을 설계하며, ε→0의 극한에서 정확한 행렬 곱을 복원한다.
• 근사 체계는 ε에 대한 유리 함수를 포함하는 89개의 항으로 구성되며, ε→0일 때 진짜 행렬 곱으로 수렴함을 보여준다.
• 특히 스미르노프(Smirnov)의 2013년 알고리즘과 같은 이전 연구 결과를 활용하여 더 높은 차수의 텐서를 작은 원자 성분으로 구성한다.
• 경계 랭크 상한은 3×3×3 및 2×3×3 곱셈에 대해 알려진 작은 랭크 텐서와 근사 텐서를 조합하여 도출된다.

실험 결과

연구 질문

• RQ1 비가환 알고리즘을 사용하여 두 개의 5×5 행렬 곱을 계산하기 위해 필요한 최소 곱셈 수는 얼마인가?
• RQ2 정확한 알고리즘보다 더 적은 곱셈 수를 사용하는 5×5 행렬 곱셈의 근사 알고리즘을 구성할 수 있으며, 그러한 항목의 최소 수는 얼마인가?
• RQ3 5×5 행렬 곱셈에 대한 새로운 텐서 랭크 및 경계 랭크 상한은 기존 이론적 하한과 어떻게 비교되는가?
• RQ4 이러한 새로운 상한은 더 큰 행렬에 대한 행렬 곱셈의 점근적 복잡도에 어떤 영향을 미치는가?
• RQ5 새로운 3×5×5 알고리즘이 10×10 및 15×15 행렬 곱셈에 대해 더 효율적인 텐서 분해를 구성하는 데 사용될 수 있는가?

주요 결과

• 5×5 행렬 곱셈의 텐서 랭크는 이전에 알려진 상한을 초월하여 98 이하로 상향 제한된다.
• 5×5 행렬 곱셈의 경계 랭크는 89 이하로 상향 제한되며, 이는 기존 알려진 상한을 크게 조여서 개선한 것이다.
• 오직 58개의 곱셈만을 사용하여 3×5 × 5×5 행렬 곱셈에 대한 비가환 알고리즘을 명시적으로 구성하였다.
• 89개의 곱셈을 사용하는 근사 알고리즘을 제시하였으며, ε→0일 때 임의의 정밀도로 진짜 행렬 곱을 계산할 수 있다.
• 새로운 3×5×5 알고리즘은 10×10 및 15×15 행렬 곱셈에 대해 각각 686 및 2088개의 곱셈으로 이르는 개선된 상한을 가능하게 한다.
• 가장 효율적인 텐서 분해가 항상 가장 직관적인 구성은 아니며, 다른 구성 방식이 표준 텐서 곱보다 낮은 랭크를 도출할 수 있음을 보여준다.