[논문 리뷰] Matrix Multiplication, Trilinear Decompositions, APA Algorithms, and Summation

Victor Y. Pan|arXiv (Cornell University)|2014. 12. 03.

Tensor decomposition and applications참고 문헌 94인용 수 3

한 줄 요약

이 논문은 행렬 곱셈(MM)의 산술 복잡도를 재검토하며, 이론적 발전으로 인해 지수는 3에서 약 2.38로 감소했지만, 이 알고리즘들은 중간 크기의 입력에 대해서는 거대한 오버헤드로 인해 실용적이지 않다는 점을 강조한다. 논문은 기본적인 MM 기법—특히 삼선형 분해와 APA 알고리즘—이 다항식 곱셈과 이진 분할을 통해 내적과 합산을 효율적으로 계산하는 데 연결됨을 보여주며, 점근적 이론을 넘어서 실용적 유용성을 입증한다.

ABSTRACT

Matrix multiplication (hereafter we use the acronym MM) is among the most fundamental operations of modern computations. The efficiency of its performance depends on various factors, in particular vectorization, data movement and arithmetic complexity of the computations, but here we focus just on the study of the arithmetic cost and the impact of this study on other areas of modern computing. In the early 1970s it was expected that the straightforward cubic time algorithm for MM will soon be accelerated to enable MM in nearly quadratic arithmetic time, with some far fetched implications. While pursuing this goal the mainstream research had its focus on the decrease of the classical exponent 3 of the complexity of MM towards its lower bound 2, disregarding the growth of the input size required to support this decrease. Eventually, surprising combinations of novel ideas and sophisticated techniques enabled the decrease of the exponent to its benchmark value of about 2.38, but the supporting MM algorithms improved the straightforward one only for the inputs of immense sizes. Meanwhile, the communication complexity, rather than the arithmetic complexity, has become the bottleneck of computations in linear algebra. This development may seem to undermine the value of the past and future research aimed at the decrease of the arithmetic cost of MM, but we feel that the study should be reassessed rather than closed and forgotten. We review the old and new work in this area in the present day context, recall some major techniques introduced in the study of MM, discuss their impact on the modern theory and practice of computations for MM and beyond MM, and link one of these techniques to some simple algorithms for inner product and summation.

연구 동기 및 목표

• 통신 비용과 같은 현대의 계산 병목 현상 고려하여, 행렬 곱셈의 산술 복잡도를 낮추기 위한 수십 년에 걸친 연구의 관련성을 재검토하기 위해.
• 특히 삼선형 분해와 APA 알고리즘을 포함한 MM 가속 기법이 점근적 성능을 넘어서 실용적인 응용이 있음을 보여주기 위해.
• 핵심 MM 기법인 다항식 곱의 이진 분할이 유한한 정수의 내적과 합산을 효율적으로 계산하는 데 어떻게 응용될 수 있는지 보여주기 위해.
• 중간 크기의 입력에서 성능이 열 劣한 경우에도, MM 관련 알고리즘이 실세계 계산—특히 선형 대수학과 수치 계산—에 미치는 실질적 영향을 탐색하기 위해.
• 내적과 합산과 같은 기본 연산과 MM 이론 간의 미개척된 연결 고리를 부각시키며, 알고리즘 최적화의 새로운 길을 제시하기 위해.

제안 방법

• 행렬 곱셈을 다중선형 계산으로 모델링하기 위해 삼선형 분해와 APA(비대칭 사전처리 알고리즘)를 사용하여 산술 복잡도의 구조적 분석을 가능하게 한다.
• 다항식 표현을 적용: 벡터 u와 v에 대해 다항식 u(x) = Σu_i x^i 및 v(x) = Σv_i x^{n-1-i}를 구성하여, 그 곱 q(x) = u(x)v(x)가 내적을 중간 계수 q_{n-1}로 포함하게 한다.
• 다항식을 x = 2^k에서 평가함으로써 표현하여, 내적을 두 정수의 곱으로 변환한다: q(2^k) = u(2^k)v(2^k), 여기서 q_{n-1}은 이진 분할을 통해 복원 가능하다.
• 이진 분할을 사용하여 다항식 곱의 중간 계수 q_{n-1}을 분리함으로써, 전체 곱셈을 피하고 오직 한 개의 계수만 필요할 경우에 효율성을 확보한다.
• 한 벡터를 모두 1로 설정함으로써 합산 문제로 확장하여, 다항식 곱의 단일 계수 추출 문제로 환원한다.
• 부울 비용 트레이드오��� 분석: 전체 정수 곱셈은 비트 복잡도를 증가시키지만, 결과가 머신 워드에 맞을 경우 또는 하위 문제를 재귀적으로 처리할 경우 이 방법은 여전히 효율적이다.

실험 결과

연구 질문

• RQ1 행렬 곱셈의 산술 복잡도를 낮추기 위해 개발된 기법들이 점근적 성능 한계를 넘어서 실용적으로 적용될 수 있는가?
• RQ2 다항식 곱셈과 이진 분할을 통한 계수 추출을 활용하여 두 벡터의 내적을 효율적으로 계산할 수 있는가?
• RQ3 다항식 곱의 단일 계수(예: 중앙 항)를 고립시키는 데 드는 계산 비용은 전체 곱을 계산하는 것과 비교해 어떻게 되는가?
• RQ4 중간 크기의 입력에서 MM 관련 알고리즘이 내적과 합산과 같은 기본 연산에 미치는 실질적 영향은 무엇인가?
• RQ5 MM의 텐서 분해 기법과 기본 선형 대수 연산을 위한 효율적 알고리즘 간의 미개척된 연결 고리는 존재하는가?

주요 결과

• 논문은 행렬 곱셈에서 유래한 기법—다항식 곱의 이진 분할—이 오직 O(n)의 산술 연산으로 두 벡터의 내적을 계산할 수 있음을 입증한다. 이는 기존의 n번의 곱셈과 n−1번의 덧셈을 대체한다.
• 유한한 정수 n개의 합산을 위해, 이 방법은 다항식 곱의 단일 계수를 계산하는 것으로 문제를 환원하여, 결과가 머신 워드에 들어갈 경우 효율적인 계산을 가능하게 한다.
• 이 방법은 전체 곱셈을 피하고 오직 다항식 곱의 중간 계수에 집중함으로써 내적 또는 합산에 해당하는 계수만을 추출함으로써 계산 오버헤드를 줄인다.
• 고전적 MM 알고리즘과 달리, 이 방법은 중간 크기의 입력 크기에서도 실용적이다. 고지수 MM 알고리즘은 천문학적 크기의 n일 때에만 표준 방법을 능가한다.
• 이 기법은 컘벌루션, 다항식 GCD, 이산 푸리에 변환 등 다른 연산으로도 확장 가능하여, 내적과 합산을 넘어서 광범위한 응용 가능성을 시사한다.
• 논문은 현대 저지수 MM 알고리즘이 실질적인 영향을 미치지 못하더라도, 그 기반 수학 기법은 여전히 가치가 있으며 기본 수치 연산의 효율적 계산을 위해 재사용될 수 있음을 결론짓는다.