[論文レビュー] Faster Algorithms for Rectangular Matrix Multiplication

Gall, François Le|arXiv (Cornell University)|Apr 4, 2012

Complexity and Algorithms in Graphs被引用数 74

ひとこと要約

本稿では、長方形行列積に対する新しいアルゴリズムを提示し、指数αの最良既知の上界を改善した。Coppersmith（1997年）が樹立したα > 0.29462という前回記録を上回り、α > 0.30298を示した。この手法はCoppersmith-Winogradフレームワークを拡張し、基本的構成の高次テンソル積を用い、非線形計画法によりパラメータを最適化することで、ω(1,1,k)の tighter な上限を得た。この結果、全ペアの最短経路問題やスパース行列積に応用できる。

ABSTRACT

Let {\alpha} be the maximal value such that the product of an n x n^{\alpha} matrix by an n^{\alpha} x n matrix can be computed with n^{2+o(1)} arithmetic operations. In this paper we show that \alpha>0.30298, which improves the previous record \alpha>0.29462 by Coppersmith (Journal of Complexity, 1997). More generally, we construct a new algorithm for multiplying an n x n^k matrix by an n^k x n matrix, for any value k eq 1. The complexity of this algorithm is better than all known algorithms for rectangular matrix multiplication. In the case of square matrix multiplication (i.e., for k=1), we recover exactly the complexity of the algorithm by Coppersmith and Winograd (Journal of Symbolic Computation, 1990). These new upper bounds can be used to improve the time complexity of several known algorithms that rely on rectangular matrix multiplication. For example, we directly obtain a O(n^{2.5302})-time algorithm for the all-pairs shortest paths problem over directed graphs with small integer weights, improving over the O(n^{2.575})-time algorithm by Zwick (JACM 2002), and also improve the time complexity of sparse square matrix multiplication.

研究の動機と目的

• n × n^α 行列と n^α × n 行列の積が O(n^{2+ε}) 操作で計算可能な最大の α の下界を改善すること。
• 従来の手法よりも優れた漸近的時間計算量を持つ、長方形行列積のための新しいアルゴリズムを開発すること。
• Coppersmith-Winogradフレームワークを基本的構成の高次テンソル積へ拡張し、ω(1,1,k) のより良い上限を得ること。
• 得られた新しい上限を、全ペアの最短経路問題やスパース行列積といった基本的アルゴリズムの時間計算量の改善に応用すること。

提案手法

• Coppersmith-Winogradのテンソル化フレームワークを用い、基本的構成 F_q の高次テンソル積へ拡張する。
• Sch"onhageの漸近的和の不等式を適用し、三重線形形式から ω(1,1,k) の上界を導出する。
• a400, a103, ..., a211 などのパラメータに対して非線形最適化を実施し、制約を満たしつつ ω(1,1,k) の上界を最小化する。
• MQ² = (q+2)² の等式条件を課し、α の下界を導出する。この際、主要パラメータの解析的最適化を要する。
• Maple を用い、高精度算術を駆使して最適化問題を解き、制約を数値的に検証する。
• テンソル積のパラメータから導かれる R と Q を用いた比 log R / log Q により、ω(1,1,k) の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 Coppersmith-Winogradフレームワークを高次テンソル積へ拡張することで、長方形行列積の上限を改善できるか？
• RQ2 n × n^α × n^α × n 行列積が O(n^{2+ε}) で計算可能な場合の、α の最良達成可能な下界は何か？
• RQ3 テンソル構成における最適化されたパラメータ選択を用いることで、k ≠ 1 の場合の ω(1,1,k) に対するよりタイトな上限を得られるか？
• RQ4 ω(1,1,k) の改善された上限は、全ペアの最短経路問題のような基本的アルゴリズムの時間計算量にどのように反映されるか？
• RQ5 最適化フレームワークを体系的に応用することで、先行研究を上回る非自明な α の改善が達成可能か？

主な発見

• 本稿では、前回記録の α > 0.29462 を上回る、新たな下界 α > 0.3029805825293869820274449 を確立した。
• k = 0.5302 の場合、ω(1,1,0.5302) < 2.060396 を達成し、従来の結果を改善した。
• k = 0.75 の場合、ω(1,1,0.75) < 2.190087 という上限を確立し、再び以前の結果を上回った。
• k = 2 の場合、ω(1,1,2) < 3.256689 という上限を導出し、以前の上界を改善した。
• アルゴリズムは正方行列積におけるCoppersmith-Winogradの複雑度を回復し、既知の結果と整合性があることを確認した。
• 改善された上限は、小さな整数重みをもつ全ペアの最短経路問題に対して O(n^{2.5302}) 時間のアルゴリズムをもたらし、Zwickの O(n^{2.575}) アルゴリズムを上回った。