[논문 리뷰] Fast Matrix Multiplication and Symbolic Computation

Jean‐Guillaume Dumas, Victor Y. Pan|arXiv (Cornell University)|2016. 12. 17.

Tensor decomposition and applications참고 문헌 27인용 수 8

한 줄 요약

이 논문은 순수 이론적 점근적 향상보다는 실용적이고 구현 가능한 크기의 행렬에 중점을 두고 빠른 행렬 곱셈(MM) 기법을 조사한다. 삼중선형 집계, 재귀적 이항 알고리즘, 기호 계산을 강조하며, [87], [88], [118]의 알고리즘은 낮은 재귀 깊이와 효율적인 메모리 사용을 결합하여 1982년 이후로 실세계 성능 향상을 이끌었으며, n ≤ 1,000,000 범위에서 기록적인 지수 2.7734를 달성했다.

ABSTRACT

The complexity of matrix multiplication (hereafter MM) has been intensively studied since 1969, when Strassen surprisingly decreased the exponent 3 in the cubic cost of the straightforward classical MM to log 2 (7) $\approx$ 2.8074. Applications to some fundamental problems of Linear Algebra and Computer Science have been immediately recognized, but the researchers in Computer Algebra keep discovering more and more applications even today, with no sign of slowdown. We survey the unfinished history of decreasing the exponent towards its information lower bound 2, recall some important techniques discovered in this process and linked to other fields of computing, reveal sample surprising applications to fast computation of the inner products of two vectors and summation of integers, and discuss the curse of recursion, which separates the progress in fast MM into its most acclaimed and purely theoretical part and into valuable acceleration of MM of feasible sizes. Then, in the second part of our paper, we cover fast MM in realistic symbolic computations and discuss applications and implementation of fast exact matrix multiplication. We first review how most of exact linear algebra can be reduced to matrix multiplication over small finite fields. Then we highlight the differences in the design of approximate and exact implementations of fast MM, taking into account nowadays processor and memory hierarchies. In the concluding section we comment on current perspectives of the study of fast MM.

연구 동기 및 목표

• 빠른 행렬 곱셈의 연구 초점을 순수 이론적 점근적 지수 감소에서 실용적이고 구현 가능한 크기의 행렬 계산으로 재정의하기.
• 현대 프로세서의 메모리 계층을 고려한 빠른 MM의 효율적 구현을 가능하게 하는 기법을 식별하고 분석하기.
• 근사적 및 정확한 빠른 MM의 구현을 비교·대조하며, 기호 계산에서 수치 안정성과 메모리 효율성에 중점을 두기.
• 미래의 발전을 위해 전통적인 2×2 기반 재귀적 이항 접근법에서 더 넓은 삼중선형 및 집계 기반 방법으로의 전환을 주장하기.
• 매우 낮은 지수이지만 높은 재귀 깊이로 인해 실용성이 제한되는 알고리즘의 '재귀의 저주' 문제를 다루기.

제안 방법

• 계수 행렬 A, B, C를 통해 삼중선형 분해 및 집계를 사용하여 계수 행렬이 희박하거나 구조화되어 있을 경우 효율적인 구현이 가능하도록 행렬 곱셈을 표현한다.
• 빠른 2×2 MM 기반의 재귀적 이항 알고리즘(예: [87], [88], [118])을 활용하여 산술 비용을 감소시키면서도 구현 가능성을 유지한다.
• 컴퓨터 검색 기법을 적용하여 [136]와 같이 새로운 삼중선형 분해를 발견함으로써 작은 행렬(예: m,n,p ≤ 6)에 대한 효율적인 알고리즘을 찾는다.
• 작은 유한체를 활용하여 정확한 선형 대수 문제를 행렬 곱셈으로 환원함으로써 정확하고 안정적인 계산을 가능하게 한다.
• 메모리 계층과 벡터화를 분석하여 현대 아키텍처에서의 성능을 최적화하며, 낮은 재귀 깊이와 높은 데이터 국소성의 알고리즘을 선호한다.
• 2×2 재귀를 초월한 '태양 중심' 관점(즉, 2×2 기반 재귀에서 벗어나기)을 제안하여 집계 및 APA(비교적 신속한 근사) 알고리즘과 같은 새로운 스트라센 기반 기법을 탐색한다.

실험 결과

연구 질문

• RQ1 최근 2.37 이하의 MM 지수 감소에 대한 이론적 진전이 실세계 계산에 실질적인 영향을 미치지 못한 이유는 무엇인가?
• RQ2 빠른 MM 알고리즘에서 이론적 지수 감소와 실용적 구현 가능성 사이의 핵심 상충 관계는 무엇인가?
• RQ3 삼중선형 집계와 희박한 계수 행렬은 정확한 행렬 곱셈의 성능과 안정성 향상에 어떻게 기여하는가?
• RQ4 메모리 계층과 데이터 국소성은 빠른 MM 알고리즘의 실용적 효율성에 어떤 역할을 하는가?
• RQ5 [87], [88], [118], [136]의 기법을 조합하여 실현 가능한 행렬 크기에서 2.7734 이하의 지수를 달성할 수 있는가?

주요 결과

• 1982년 이후로 실현 가능한 행렬 크기(n ≤ 1,000,000)에서 [118]의 알고리즘이 달성한 지수 2.7734는 여전히 도전받지 못하고 있다. 이는 이론적 진전이 2.37에 가까워졌음에도 불구하고 그렇다.
• 초희박한 계수 행렬(예: [87], [88])을 사용하는 삼중선형 집계 기반 알고리즘은 전통적인 재귀적 이항 방법보다 더 메모리 효율적이고 수치적으로 안정적이다.
• 컴퓨터 검색을 통해 발견된 최근 알고리즘 [136]는 작은 행렬(최소 {m,n,p}=2, 최대 ≤6)에서 log₂(7) 이하의 지수를 달성하지만, 밀집된 계수 행렬로 인해 실용적으로는 성능이 열 劣하다.
• 빠른 2×2 MM 기반의 재귀적 이항 알고리즘은 메모리 계층과 벡터화에 최적화될 경우, 여전히 성능 향상의 가장 실용적인 길이다.
• 재귀의 저주로 인해 매우 낮은 지수를 가진 알고리즘(예: 코퍼스미스-윈오그래드)은 행렬 크기가 현실적인 한계를 수십 개의 주기수 이상 초과할 때까지 고전적 MM을 능가하지 못한다.
• 미래의 실용적 빠른 MM 발전은 이론적 지수 감소를 계속 추구하기보다는 인간의 통찰력과 컴퓨터 검색을 융합해 [87]/[88]의 효율성과 [136]의 낮은 지수를 결합한 하이브리드 알고리즘을 설계함으로써 가능성이 더 크다.