[論文レビュー] The tensor rank of 5x5 matrices multiplication is bounded by 98 and its border rank by 89

Alexandre Sedoglavic, Alexey Smirnov|arXiv (Cornell University)|Jan 29, 2021

Algorithms and Data Compression参考文献 19被引用数 5

ひとこと要約

本稿では、98回の乗算を用いた非可換アルゴリズムを提案し、テンソルランクに対する上界98を確立する5×5行列乗算の新規手法を提示する。さらに、わずか89回の乗算で実現可能な近似アルゴリズムを導入し、境界ランクに対する上界89を達成する。これは従来の上界を顕著に改善し、小規模行列乗算の複雑さに関する理解を前進させる。

ABSTRACT

We present a non-commutative algorithm for the product of 3x5 by 5x5 matrices using 58 multiplications. This algorithm allows to construct a non-commutative algorithm for multiplying 5x5 (resp. 10x10, 15x15) matrices using 98 (resp. 686, 2088) multiplications. Furthermore, we describe an approximate algorithm that requires 89 multiplications and computes this product with an arbitrary small error.

研究の動機と目的

• 5×5行列乗算のテンソルランクおよび境界ランクに関する既知の上界を改善すること。
• 3×5×5行列乗算に特化した明示的な非可換アルゴリズムを、58回の乗算のみで構築すること。
• 任意の小さな誤差で実現可能な5×5行列乗算の近似アルゴリズムを構築し、境界ランク89を達成すること。
• テンソル積分解を用いて、10×10や15×15などのより大きな行列サイズへの結果を拡張すること。
• 最適な原子的テンソル構成を同定することで、効率的な行列乗算アルゴリズムのデータベースに貢献すること。

提案手法

• 著者らは、双線形形式の精緻なテンソル分解から導かれる、58回の乗算を用いた3×5×5行列乗算の非可換アルゴリズムを構築する。
• このアルゴリズムを再帰的テンソル積構造に埋め込み、98回の乗算を要する5×5×5行列乗算スキームを導出する。
• 小さなパラメータεを有するパrametrizedテンソルを用いて、近似アルゴリズムを設計し、ε→0の極限で正確な行列積が回復されることを保証する。
• 近似スキームは89項から構成され、それぞれがεに関する有理関数を含み、ε→0の極限で真の行列積に収束することが示される。
• 特に2013年のSmirnovのアルゴリズムを含む先行研究の知見を活用し、より高次のテンソルを小さな原子的コンポーネントから構築する。
• 境界ランク上界は、近似テンソルと既知の3×3×3および2×3×3積に対する小規模ランクテンソルを組み合わせることで導出される。

実験結果

リサーチクエスチョン

• RQ1 非可換アルゴリズムを用いて、2つの5×5行列の積を計算するために必要な乗算の最小数は何か？
• RQ2 正確なアルゴリズムよりも少ない乗算回数で5×5行列乗算の近似アルゴリズムを構築可能か？その最小の項数は何か？
• RQ3 5×5行列乗算の新しいテンソルランクおよび境界ランク上界は、既存の理論的下界と比較してどのように異なるか？
• RQ4 これらの新しい上界は、より大きな行列に対する行列乗算の漸近的複雑度にどのような影響を及えるか？
• RQ5 新規の3×5×5アルゴリズムを用いて、10×10および15×15行列乗算のより効率的なテンソル分解を構築可能か？

主な発見

• 5×5行列乗算のテンソルランクは、98未満であることが上界として保証され、従来の既知の上界を改善する。
• 5×5行列乗算の境界ランクは、89未満であることが上界として保証され、既存の上界が顕著にタイトに改善された。
• 3×5×5行列乗算の非可換アルゴリズムが、58回の乗算のみで明示的に構築された。
• 89回の乗算を用いた5×5行列乗算の近似アルゴリズムが提示され、ε→0の極限で任意の精度で正しい行列積が得られる。
• 新規の3×5×5アルゴリズムにより、10×10および15×15行列乗算のための改善された上界が得られ、それぞれ686および2088回の乗算を要する。
• 最も効率的なテンソル分解が常に直感的なものであるとは限らないことが実証され、代替的構成が標準的テンソル積よりも低いランクを達成することが分かった。