[論文レビュー] Matrix Multiplication, Trilinear Decompositions, APA Algorithms, and Summation

Victor Y. Pan|arXiv (Cornell University)|Dec 3, 2014

Tensor decomposition and applications参考文献 94被引用数 3

ひとこと要約

本稿は行列積（MM）の算術的複雑性を再考し、理論的進展により指数が3から約2.38に低下したものの、これらは中規模の入力サイズでは膨大なオーバーヘッドのため実用的でないことを強調する。MM研究の関連性を再評価し、特に三重線形分解とAPAアルゴリズムといった基本的手法が、多項式乗算と2分法分割を用いた内積および和の計算にどのように関連するかを示し、漸近的理論をはるかに超える実用的利点を示す。

ABSTRACT

Matrix multiplication (hereafter we use the acronym MM) is among the most fundamental operations of modern computations. The efficiency of its performance depends on various factors, in particular vectorization, data movement and arithmetic complexity of the computations, but here we focus just on the study of the arithmetic cost and the impact of this study on other areas of modern computing. In the early 1970s it was expected that the straightforward cubic time algorithm for MM will soon be accelerated to enable MM in nearly quadratic arithmetic time, with some far fetched implications. While pursuing this goal the mainstream research had its focus on the decrease of the classical exponent 3 of the complexity of MM towards its lower bound 2, disregarding the growth of the input size required to support this decrease. Eventually, surprising combinations of novel ideas and sophisticated techniques enabled the decrease of the exponent to its benchmark value of about 2.38, but the supporting MM algorithms improved the straightforward one only for the inputs of immense sizes. Meanwhile, the communication complexity, rather than the arithmetic complexity, has become the bottleneck of computations in linear algebra. This development may seem to undermine the value of the past and future research aimed at the decrease of the arithmetic cost of MM, but we feel that the study should be reassessed rather than closed and forgotten. We review the old and new work in this area in the present day context, recall some major techniques introduced in the study of MM, discuss their impact on the modern theory and practice of computations for MM and beyond MM, and link one of these techniques to some simple algorithms for inner product and summation.

研究の動機と目的

• 通信コストなどの現代の計算ボトル neck を鑑み、行列積の算術的複雑性を低減する長年の研究の意義を再評価すること。
• 特に三重線形分解とAPAアルゴリズムを含むMMを高速化するための手法が、漸近的性能をはるかに超えて実用的応用を持つことを示すこと。
• 行列積のコアな技術である多項式積の2分法分割を、有界な整数の内積および和の計算に効率的に応用できる方法を示すこと。
• 中規模の入力サイズでは性能が著しく劣るものの、MM関連アルゴリズムが実世界の計算、特に線形代数および数値計算に与える実際の影響を調査すること。
• MM理論と内積や和といった基本的演算との間の未発見の関連性を強調し、アルゴリズム最適化の新たな道筋を示唆すること。

提案手法

• 三重線形分解とAPA（非対称前処理アルゴリズム）を用い、行列積を多次元線形計算としてモデル化し、算術的複雑性の構造的解析を可能にする。
• 多項式表現を適用：ベクトルuとvに対して、u(x) = Σu_i x^i および v(x) = Σv_i x^{n-1-i} を構築し、その積 q(x) = u(x)v(x) が内積を中央係数 q_{n-1} として含むようにする。
• 多項式を x = 2^k で評価する形で表現し、内積を2つの整数の積 q(2^k) = u(2^k)v(2^k) に変換し、q_{n-1} は2分法分割により回復可能である。
• 2分法分割を用いて、2つの大きな整数の積から中央係数 q_{n-1} を分離し、必要なのは1つの係数であるため、完全な乗算を回避する。
• 1つのベクトルをすべて1に設定することで、和の計算に拡張し、問題を多項式積の1つの係数抽出に還元する。
• ブールコストのトレードオフを分析：完全な整数乗算はビット複雑性を増加させるが、結果がマシンワードに収まる場合や、部分問題を再帰的に処理する場合、この方法は依然として効率的である。

実験結果

リサーチクエスチョン

• RQ1 行列積の算術的複雑性を低減するための手法が、漸近的性能の境界をはるかに超えて実用的に応用可能か？
• RQ2 多項式乗算と2分法分割による係数抽出を活用することで、2つのベクトルの内積を効率的に計算可能か？
• RQ3 多項式積の1つの係数（例：中央項）を分離する計算コストと、全積を計算するコストの比較は？
• RQ4 中規模の入力サイズにおいて、MM関連アルゴリズムが和や内積計算といった基本的演算に与える実際の影響は？
• RQ5 MMにおけるテンソル分解技法と、基本的な線形代数演算のための効率的アルゴリズムとの間には、未発見の関連性があるか？

主な発見

• 本稿は、行列積から得られる技術である多項式積の2分法分割が、標準的なn回の乗算とn−1回の加算に代わり、O(n)の算術演算で2つのベクトルの内積を計算可能であることを示している。
• n個の有界整数の和の計算において、この方法は2つの整数の積の1つの係数を抽出する問題に還元され、結果がマシンワードに収まる場合に効率的な計算が可能になる。
• このアプローチは、多項式積の中央係数にのみ注目することで完全な乗算を回避し、内積や和に対応するための計算オーバーヘッドを削減する。
• 高指数のMMアルゴリズムとは異なり、中規模の入力サイズに対しても実用的である。
• この技術は畳み込み、多項式GCD、離散フーリエ変換など、他の演算へも拡張可能であり、内積や和の計算をはるかに超えて広範な応用が見込まれる。
• 本稿は、現代の低指数MMアルゴリズムの実用的影響が限定的である一方で、その背後にある数学的技術は依然として価値があり、基本的数値演算の効率的計算に再利用可能であると結論づける。