[論文レビュー] Better Late Than Never: Filling a Void in the History of Fast Matrix Multiplication and Tensor Decompositions

Victor Y. Pan|arXiv (Cornell University)|Nov 6, 2014

Tensor decomposition and applications参考文献 2被引用数 4

ひとこと要約

この論文は、1972年にビクトル・Y・パーンが発表した高速行列積に関する画期的な論文の初の英語翻訳を提示する。本論文では、行列積のテンソル分解のランクを低減するために、三重線形集合技術を導入する。本研究は、行列積の二重線形および三重線形分解の間の理論的関係を確立し、trace(ABD)形式の分解を通じて、MM(n,n,n)の指数を2.7962という記録的数値にまで低下させる。これは、偶数nに対してランク0.5n³ + 3n²の分解を用いることで達成された。1969年の2.8074という記録を著しく上回る結果である。

ABSTRACT

Multilinear and tensor decompositions are a popular tool in linear and multilinear algebra and have a wide range of important applications to modern computing. Our paper of 1972 presented the first nontrivial application of such decompositions to fundamental matrix computations and was also a landmark in the history of the acceleration of matrix multiplication. Published in 1972 in Russian, it has never been translated into English. It has been very rarely cited in the Western literature on matrix multiplication and never in the works on multilinear and tensor decompositions. This motivates us to present its translation into English, together with our brief comments on its impact on the two fields.

研究の動機と目的

• ビクトル・Y・パーンの1972年のロシア語論文を英語に翻訳し、再発表することで、西洋の文献における歴史的空白を埋める。
• 三重線形集合が行列積のテンソル分解のランクを低減するという基礎的役割を確立し、より高速なアルゴリズムの実現を可能にする。
• MM(m,k,n)の二重線形分解が、trace(ABD)の三重線形分解に還元可能であることを示し、行列積の高速化問題を低ランクの三重線形形式の探索問題に変換する。
• MM(2,2,2)、MM(2,3,3)、MM(n,n,n)といった基本的な行列積問題のランクと算術的複雑度に対して明示的な上限と構成を提供する。
• MM(2,2,2)に対する7ランクアルゴリズムが同値性を除いて一意的であることを証明し、その最適性を確認する。

提案手法

• 本論文は、行列積アルゴリズムの根幹をなすtrace(ABD)形式の低ランク三重線形分解を生成する、新しい技法「三重線形集合」を導入する。
• MM(m,k,n)の二重線形分解がランクRである場合、trace(ABD)の三重線形分解もランクRであることを証明し、行列積を三重線形形式の分解に還元可能であることを示す。
• 偶数nに対して、対称的なインデックスグループ化と偶奇に基づく符号調整を用いて、MM(n,n,n)の特定の三重線形分解を構築する。この分解のランクは0.5n³ + 3n²である。
• 一般の行列積を、より小さい固定サイズの問題に還元するために、基本プログラムの再帰的適用を用いる。この際、指数p_{mkn} = 3 log_{mkn} r_{mkn} を利用する。
• MM(m,k,n)の6通りの置換の間に双対性が存在することを確立し、ある問題に対するアルゴリズムが双対性変換により他の問題のアルゴリズムに変換可能であることを示す。
• MM(2,2,n)を計算する任意のアルゴリズムは、少なくとも(m+n-1)k回の乗算と除算を必要とすることが証明され、複雑度の下界が得られる。

実験結果

リサーチクエスチョン

• RQ1 trace(ABD)形式の三重線形分解を、ランクを低減し、結果として行列積を高速化するように、体系的に構築する方法は何か？
• RQ2 行列積の文脈において、二重線形分解と三重線形分解の理論的関係は何か？また、一方を他方に変換する方法は？
• RQ3 1969年に達成された2.8074という記録を下回る行列積の指数を達成できるか？その場合、そのメカニズムは何か？
• RQ4 MM(2,2,2) や MM(2,3,3) といった基本的な行列積問題のランクと算術的複雑度の、最もきつい既知の下界と上界は何か？
• RQ5 MM(2,2,2)に対する7ランクアルゴリズムは、同値性を除いて一意的であり、その最適性に何を示唆するのか？

主な発見

• 三重線形集合技術により、偶数nに対してMM(n,n,n)のtrace(ABD)の分解が得られ、ランクは0.5n³ + 3n²となり、指数は2.8074から約2.7962に低下する。
• n=70の場合、分解のランクは143,640であり、指数は3 log₇₀(143,640) < 2.7962を満たし、漸近的複雑度がO(n².⁷⁹⁶²)であることを確認する。
• 本論文は、MM(2,2,2)に対する7ランクアルゴリズムが同値性を除いて一意的であることを証明し、その最適性と高速行列積における基礎的役割を確認する。
• MM(m,k,n)の6通りの置換の双対性が確立され、ある問題に対するアルゴリズムが双対性変換により他の問題のアルゴリズムに変換可能であることが示された。
• 下界の証明：MM(2,2,n)に対してn≥3では少なくとも3n+2回の乗算が必要であり、MM(2,3,3)のランクは15から16の間で有界である。
• 本論文は、ランクr_{mkn}と算術的複雑度q_{mkn}が、mk+kn+mnの一次項の範囲で漸近的に同等であることを示し、複雑度とランクを直接結びつける。