[논문 리뷰] Fast Feasible and Unfeasible Matrix Multiplication

Victor Y. Pan|arXiv (Cornell University)|2018. 04. 11.

Tensor decomposition and applications참고 문헌 117인용 수 14

한 줄 요약

이 논문은 빠른 행렬 곱셈의 최신 기술 동향을 검토하며, 실현 가능하고 실현 불가능한 MM 알고리즘을 구분한다. 이론적 지수 감소와 실용적 적용 가능성 사이의 상충 관계를 분석하며, 재귀적 알고리즘의 '재귀의 저주'가 이론적으로는 빠른 알고리즘을 실세계의 행렬 크기에서는 현실적으로 불가능하게 만든다는 점을 강조한다. 또한 2.7734 이하의 지수를 갖는 실현 가능한 알고리즘의 최근 발전을 부각한다.

ABSTRACT

Fast matrix-by-matrix multiplication (hereafter MM) is a highly recognized research subject. The record upper bound 3 of 1968 on the exponent of the complexity MM decreased below 2.38 by 1987, applies to celebrated problems in many areas of computing, and is extensively cited in the Theory of Computing. Further decrease of the exponent remains a celebrated challenge. Acceleration of MM in the Practice of Computing is a distinct challenge, because all known algorithms supporting the exponents below 2.7733 improve straightforward MM only for unfeasible MM of immense size, greatly exceeding the sizes of interest nowadays and in any foreseeable future. We first survey the mainstream study of the acceleration of MM of unbounded sizes, cover the progress in decreasing the exponents of MM, comment on its impact on the theory and practice of computing, and recall various fundamental concepts and techniques supporting fast MM and naturally introduced in that study by 1980. Then we demonstrate how the curse of recursion naturally entered the game of decreasing the record exponents. Finally we cover the State of the Art of efficient feasible MM, including some most efficient known techniques and algorithms as well as various issues of numerical and symbolic implementation. We hope that our review will help motivate and properly focus further effort in this highly important area.

연구 동기 및 목표

• 1987년 이후 행렬 곱셈 지수를 2.38 이하로 낮추는 데 있어 이론적 진전을 분석하기 위해.
• 실제 세계의 행렬 크기에서는 실용적이지 않은 이론적 알고리즘을 방해하는 '재귀의 저주'를 특정하고 설명하기 위해.
• 현대 수치적 및 기호 계산 소프트웨어에서 사용되는 효율적이고 실현 가능한 알고리즘을 조사하고 평가하기 위해.
• 실현 불가능한 MM를 위한 재귀적 알고리즘과 실현 가능한 MM를 위한 직접적 비재귀 기법 간의 성능 및 적용 가능성 비교하기 위해.
• 미래 연구를 이끌기 위해, 이론적(비현실적) 행렬 곱셈과 실용적(현실적) 행렬 곱셈을 가속화하는 데 있어 서로 다른 과제를 명확히 하기 위해.

제안 방법

• 1969년 스트라센의 알고리즘부터 현재의 약 2.3728639의 기록 지수에 이르기까지 행렬 곱셈 알고리즘의 진화를 조사하기 위해.
• 저지수를 갖는 이차형 알고리즘을 구성하는 데 핵심적인 역할을 하는 텐서 분해와 삼중선형 집계의 역할을 분석하기 위해.
• 빠른 MM 알고리즘의 재귀적 구조를 분석하고, 깊은 재귀로 인한 입력 크기의 급격한 증가를 정량화하여 이론적 알고리즘이 실용적으로 불가능하게 만든다는 점을 밝히기 위해.
• 다양한 빠른 MM 기법의 기초가 되는 다항식 곱셈과 컨볼루션에서의 푸리에 변환(FFT)과 역푸리에 변환의 응용을 검토하기 위해.
• FFT 기반 알고리즘의 성능을 평가하고, 예를 들어 1982년의 지수 경계 2.7734를 기반으로 한 알고리즘을 포함하여 현대 소프트웨어에 구현된 실용적 MM 알고리즘의 성능을 분석하기 위해.
• FFT 기반 컨볼루션과 직접적 방법 간의 계산 비용을 비교하여, 큰 입력에 대해 연산 횟수가 극적으로 감소함을 보여주기 위해.

실험 결과

연구 질문

• RQ1 1987년 이후 수십 년에 걸친 연구에도 불구하고, 왜 행렬 곱셈의 이론적 지수 감소가 정체되어 있는가?
• RQ2 '재귀의 저주'는 얼마나 깊이 이론적으로는 빠른 행렬 곱셈 알고리즘이 실생활에서 유용하지 못하게 만드는가?
• RQ3 실현 가능한 행렬 곱셈을 위한 가장 효율적인 알려진 알고리즘은 무엇이며, 이는 오래 전에 개발된 널리 쓰이는 알고리즘들과 어떻게 비교되는가?
• RQ4 FFT 기반 기법과 다항식 평가-보간 기법은 실생활에서 행렬 곱셈을 가속화하는 데 어떻게 기여하는가?
• RQ5 이론적 하한선인 2와 실현 가능한 알고리즘에서 달성 가능한 최고의 지수 사이의 현재 격차는 얼마인가?

주요 결과

• 행렬 곱셈 지수는 약 2.3728639로 감소했지만, 깊은 재귀로 인해 실현 가능하지 않다.
• '재귀의 저주'로 인해 재귀적 빠른 MM 알고리즘은 현재나 향후 예상 가능한 실용적 필요 이상의 입력 크기를 요구하여 이론적 분석 외에는 사용되지 않는다.
• 이론적 진전에도 불구하고, 현대 수치적 및 기호 계산 소프트웨어는 여전히 40년 이상 전에 개발된 알고리즘에 크게 의존하고 있으며, 더 효율적인 대안이 존재함에도 말이다.
• 2.7734 이하의 지수를 갖는 알고리즘—특히 1982년의 결과에서 유래한 것들—은 실현 가능한 행렬 곱셈에서 가장 실용적이고 효율적이며, 현대 소프트웨어에서 활발히 사용되고 있다.
• FFT 기반 컨볼루션과 다항식 평가-보간 기법은 산술 연산 횟수를 극적으로 감소시키며, 차수 $ n $의 컨볼루션에 대해 약 $ 2K + 4.5K\log_2 K $의 비용을 달성한다. 여기서 $ K = 2^k $ 이고 $ K \approx 2n $ 이다.
• 역푸리에 변환은 켤레 전치와 스케일링을 통해 계산할 수 있어, 다항식 보간을 효율적으로 수행하고 FFT 기반 컨볼루션 파이프라인을 완성한다.