[논문 리뷰] Symmetries of matrix multiplication algorithms. I

V. P. Burichenko|arXiv (Cornell University)|2015. 08. 05.

Tensor decomposition and applications참고 문헌 23인용 수 11

한 줄 요약

이 논문은 자동형군을 식별하여 빠른 행렬 곱셈 알고리즘을 분석하고 분류하는 대칭 기반 프레임워크를 제안한다. 허프코프 알고리즘의 자동형군이 $S_3 \times Z_2$와 동형임을 증명하고, 라더만 알고리즘의 자동형군이 $S_4$와 동형임을 보이며, 이러한 대칭을 활용하면 부호 이론과 격자 설계에서의 최적화와 유사하게 더 빠른 알고리즘을 발견하는 데 도움이 될 수 있음을 시사한다.

ABSTRACT

In this work the algorithms of fast multiplication of matrices are considered. To any algorithm there associated a certain group of automorphisms. These automorphism groups are found for some well-known algorithms, including algorithms of Hopcroft, Laderman, and Pan. The automorphism group is isomorphic to $S_3 imes Z_2$ and $S_4$ for Hopcroft anf Laderman algorithms, respectively. The studying of symmetry of algorithms may be a fruitful idea for finding fast algorithms, by an analogy with well-known optimization problems for codes, lattices, and graphs. {\em Keywords}: Strassen algorithm, symmetry, fast matrix multiplication.

연구 동기 및 목표

• 기존의 빠른 행렬 곱셈 알고리즘의 자동형군을 조사하여 숨겨진 구조적 대칭성을 밝혀내는 것.
• 텐서 분해의 대칭성과 행렬 곱셈 알고리즘 효율성 간의 형식적 프레임워크를 수립하는 것.
• 부호 이론과 격자 설계에서 사용하는 방법과 유사하게 대칭 기반 최적화 기법을 적용하여 더 빠른 행렬 곱셈 알고리즘을 발견할 수 있는지 탐색하는 것.
• 텐서 및 이항형으로 표현된 행렬 곱셈 알고리즘에 대한 자율적인 설명을 제공하여 대칭 접근법을 독립적으로 연구할 수 있도록 하는 것.

제안 방법

• 체 $K$ 위의 자유 연관 대수에서 행렬 곱셈 알고리즘을 텐서로 표현하며, 이항 연산을 인코딩하기 위해 세 가닥의 행렬 $a_l, b_l, c_l$을 사용한다.
• 행렬 곱셈 계산의 정확성을 보장하는 텐서 항등식을 만족하는 $r$개의 삼중조합 $(a_l, b_l, c_l)$으로 구성된 비가환 알고리즘의 길이 $r$을 정의한다.
• 선형 기저 변환 하에서 알고리즘의 텐서 구조를 유지하는 변환군으로서 자동형군 $\mathrm{Aut}(\mathcal{H})$의 개념을 도입한다.
• 공변 변환 $T(\sigma, b, c)$를 통한 군론적 기법을 적용하여 알고리즘의 기저 벡터에 대한 대칭성을 분석한다.
• 텐서 투영 $\mathrm{tpr}_D$, $\mathrm{tpr}_{D'}$, 및 $\mathrm{tpr}_{E}$를 사용하여 자동형군의 작용을 부분공간에 제약을 두어 스칼라 대칭과 치환 대칭을 분류한다.
• 텐서 공간에서의 자동형군과 기저 벡터 공간에서의 변환 간의 관계를 밝혀내기 위해 $\tau$-공변 변환을 통한 끌어올림 추론을 활용하며, 유일하게 스칼라 곱과 기저 벡터의 치환만이 구조를 유지함을 증명한다.

실험 결과

연구 질문

• RQ1 허프코프 행렬 곱셈 알고리즘의 자동형군은 무엇이며, 다른 알려진 알고리즘과 비교해 볼 때 어떻게 다를까?
• RQ2 빠른 행렬 곱셈 알고리즘의 대칭 구조를 군론적 방법을 통해 체계적으로 분석하고 분류할 수 있는가?
• RQ3 대칭 기반 불변 원칙이 새로운 더 빠른 행렬 곱셈 알고리즘의 구축에 얼마나 효과적으로 적용될 수 있는가?
• RQ4 라더만 알고리즘의 대칭성은 허프코프 알고리즘과 어떻게 다를까? 이는 그들의 기초 대수적 구조에 대해 어떤 시사점을 갖는가?
• RQ5 행렬 곱셈 알고리즘의 자동형군이 알고리즘의 동치성 검증이나 발견에 도구로 사용될 수 있는가?

주요 결과

• 허프코프 행렬 곱셈 알고리즘의 자동형군은 $S_3 \times Z_2$와 동형이며, 높은 수준의 대칭적 구조를 나타낸다.
• 라더만 알고리즘의 자동형군은 $S_4$와 동형이며, 이는 허프코프 알고리즘보다 더 복잡한 대칭 구성이 있음을 반영한다.
• 분석 결과, 알고리즘의 텐서 구조를 유지하는 임의의 자동형군은 스칼라 곱과 기저 벡터의 치환을 통해 작용해야 하며, 이는 텐서 투영의 불변성에 의해 증명된다.
• 기저 벡터의 치환을 포함하는 변환 $g = T(\widetilde{\sigma}, b, c)$에서 $\widetilde{\sigma} \in S_3$는 전체 자동형군을 생성하며, 이는 군 구조 $S_3 \times Z_2$를 확인한다.
• 알고리즘을 유지하는 형태의 자동형군 $T(1, b_2, c_2)$는 반드시 항등원이어야 하며, 이는 $g_2 = 1$임을 의미한다. 이는 스칼라 곱과 치환 외의 대칭은 허용되지 않음을 시사한다.
• 이 프레임워크는 텐서 투영과 군 작용을 활용하여 대칭을 성공적으로 분류하며, 알고리즘 대칭성을 분석하고 비교하는 엄밀한 방법을 제공한다.