[論文レビュー] Strassen's Matrix Multiplication Algorithm for Matrices of Arbitrary Order

Ivo Hedtke|arXiv (Cornell University)|Jul 13, 2010

Matrix Theory and Algorithms参考文献 11被引用数 7

ひとこと要約

この論文は、任意の $n \times n$ 行列に対するストラッセングの行列乗算アルゴリズムを、パrameter選択の影響が計算オーバーヘッドに与える影響を検討することで分析している。ストラッセングのオリジナルパrameterが最適パrameterと比較して、最悪ケースで約20%多くの浮動小数点演算を必要とすることを示しており、実用的パフォーマンス向上のためのより良いパrameter選択戦略の必要性を浮き彫りにしている。

ABSTRACT

The well known algorithm of Volker Strassen for matrix multiplication can only be used for $(m2^k imes m2^k)$ matrices. For arbitrary $(n imes n)$ matrices one has to add zero rows and columns to the given matrices to use Strassen's algorithm. Strassen gave a strategy of how to set $m$ and $k$ for arbitrary $n$ to ensure $n\leq m2^k$. In this paper we study the number $d$ of additional zero rows and columns and the influence on the number of flops used by the algorithm in the worst case ($d=n/16$), best case ($d=1$) and in the average case ($d\approx n/48$). The aim of this work is to give a detailed analysis of the number of additional zero rows and columns and the additional work caused by Strassen's bad parameters. Strassen used the parameters $m$ and $k$ to show that his matrix multiplication algorithm needs less than $4.7n^{\log_2 7}$ flops. We can show in this paper, that these parameters cause an additional work of approx. 20 % in the worst case in comparison to the optimal strategy for the worst case. This is the main reason for the search for better parameters.

研究の動機と目的

• ストラッセングのオリジナルパrameter（$m$, $k$）が、任意の $n \times n$ 行列に適用された際の計算オーバーヘッドを分析すること。
• これらのパrameterが最悪、最良、平均ケースにおいて引き起こす追加作業（浮動小数点演算数として）を定量化すること。
• ストラッセングのパrameter戦略を最適代替案と比較し、最悪ケースにおけるパフォーマンスギャップを示すこと。
• 行列を $m2^k$ サイズにパディングするために追加されるゼロ行・列の数（$d$）の詳細な分析と、アルゴリズム効率への影響を明らかにすること。

提案手法

• 論文は、サイズ $m2^k \times m2^k$ の行列に対して、ストラッセングのアルゴリズムが $7^k m^2(2m+5) - 4^k 6m^2$ のflospを必要とすることをモデル化し、これとナイーブな $n^3$ アルゴリズムを比較している。
• パディング後の行列サイズを $\tilde{n} = m2^k$ と定義し、追加されたゼロ行・列の数を $d = \tilde{n} - n$ とする。
• パラメータの影響を評価するために、最悪ケース（$d = n/16$）、最良ケース（$d = 1$）、平均ケース（$d \approx n/48$）のシナリオを用いる。
• 期待値 $\mathbb{E}[\tilde{n}/n] = 49/48 \approx 1.0208$ を導出し、平均的なパディングが $n$ の約2.08%であることを示している。
• ストラッセングのオリジナルパrameter（$m=32$, $k=p-5$ for $n=2^p-1$）と最適パrameter（$m=8$, $k=p-3$）を、比関数 $r(p) = F(p)/\tilde{F}(p)$ を用いて比較している。
• 漸近的極限と単調性解析を用いて、ストラッセングのパrameterが最良ケースで約8%悪く、最悪ケースで最大20%悪く、最適選択と比較して一貫した非効率性を示している。

実験結果

リサーチクエスチョン

• RQ1 ストラッセングのオリジナルパrameter選択が、任意の $n \times n$ 行列に適用された際の浮動小数点演算数に与える影響は何か？
• RQ2 最悪、最良、平均ケースにおいて、パディングされたゼロ行・列の数（$d$）はどのように変化するか？
• RQ3 ストラッセングのオリジナルパrameterと最適パrameterとの間のパフォーマンスギャップ（追加計算作業として）は何か？
• RQ4 ランダムな $n$ に対して、期待パディングサイズ $\mathbb{E}[\tilde{n}/n]$ を解析的に導出できるか？
• RQ5 なぜストラッセングのオリジナルパrameter選択が最悪ケースで20%の作業増加を引き起こすのか？実用的実装への影響は何か？

主な発見

• 最悪ケースでは、ストラッセングのオリジナルパrameterが最適パrameterと比較して約20%多くの浮動小数点演算を必要とし、これは過剰なパディング（$d = n/16$）に起因する。
• 最良ケース（ゼロ行・列を1つだけ追加した場合、$d = 1$）でも、ストラッセングのパrameterは最適パラメータと比較して約8%多くの作業を要する。
• 平均的には、期待パディング比が $\mathbb{E}[\tilde{n}/n] = 49/48 \approx 1.0208$ であり、パディングによる行列サイズの平均増加は約2.08%である。
• ストラッセングのオリジナルパラメータと最適パラメータを比較する比 $r(p) = F(p)/\tilde{F}(p)$ は、$p=5$ で約1.080から始まり、$p \to \infty$ で約1.0729に単調に減少し、一貫した非効率性が確認された。
• 分析により、ストラッセングのオリジナルパラメータ選択（$m=32$, $k=p-5$）は非最適であり、顕著な計算オーバーヘッドを引き起こすことが確認され、より良いパラメータセットの探索を促すものとなった。
• 論文は、最悪ケースで約20%のパフォーマンスギャップが生じる理由が、実用的実装におけるストラッセングアルゴリズムのパrameter戦略改善を求める主な要因であることを示した。