[論文レビュー] Matrix Multiplication in Quadratic Time and Energy? Towards a Fine-Grained Energy-Centric Church-Turing Thesis

Gregory Valiant|arXiv (Cornell University)|Nov 27, 2023

Quantum Computing Algorithms and Architecture被引用数 2

ひとこと要約

本稿は、ニュートン力学下で、n×n行列乗算の物理的に妥当な古典的アルゴリズムを2つ提案する。これらは時間とエネルギーの両方で Õ(n²) の複雑度を達成するが、従来の仮定（算術演算1回につき1単位のエネルギーを消費する）に反する。制御された並列処理とプロセスの遅延によるエネルギー-速度トレードオフを活用することで、時間とエネルギーの両方が2次関数的であることが同時に実現可能であることを示し、エネルギー中心のチューリング・チャーチの thesis の見直しに基礎を提供する。

ABSTRACT

We describe two algorithms for multiplying n × n matrices using time and energy Õ(n²) under basic models of classical physics. The first algorithm is for multiplying integer-valued matrices, and the second, quite different algorithm, is for Boolean matrix multiplication. We hope this work inspires a deeper consideration of physically plausible/realizable models of computing that might allow for algorithms which improve upon the runtimes and energy usages suggested by the parallel RAM model in which each operation requires one unit of time and one unit of energy.

研究の動機と目的

• 物理的に妥当なモデル下で、行列乗算のような基本的アルゴリズムが時間とエネルギーの両方で多項式的改善を達成できるかを調査すること。
• RAMモデルと同様に、算術演算1回につき1単位のエネルギーを消費するという標準的仮定を疑うこと。
• Pクラスの問題に対して、2次未塔のエネルギーと時間複雑度を実現可能な、非量子的物理系の可能性を探ること。
• 従来の時間-空間複雑度モデルに補完する、エネルギー中心の計算理論の枠組みを提唱すること。
• 物理現象を活用して低エネルギーかつ高並列性の計算を実現できる新たなハードウェアおよびアルゴリズム設計のインスピレーションを提供すること。

提案手法

• nq 個の並列プロセスを用い、それぞれの処理速度が ns であるモデルを構築し、エネルギー消費は遅延パラメータ α ∈ [0, 2] に従う。
• メモリアクセスの競合を回避するため、時分割多重を用いる：各プロセスは時間ブロックごとに重複のない順序で異なる行列要素にアクセスする。
• 整数行列乗算では、部分積を複数のプロセス間で物理的集積メカニズムを用いて合算することで、通信とエネルギーのオーバーヘッドを低減する。
• ブール行列乗算では、物理的平均化を用いた拡散様プロセスを用い、論理的ORを並列に評価する。
• エネルギーと時間の上限を導出する際、エネルギー/プロセス ≈ 1 + (n / (n^s))^α という関係を用いる。ここで s はプロセスの速度と並列度を制御する。
• α = 2（ニュートン力学）の場合、n^(9/5) 個のプロセスがそれぞれ n^(1/5) 個の要素を n^(3/5) の速度で処理することで、時間とエネルギーの両方が O(n^(9/5)) に抑えられることを示した。

実験結果

リサーチクエスチョン

• RQ1 古典的物理学のみを用いて、物理的制約に反しない範囲で、行列乗算を Õ(n²) の時間とエネルギーで実行可能か？
• RQ2 どの物理的計算モデルが、RAMモデルと比較して時間とエネルギーの両方で多項式的改善を可能にするか？
• RQ3 物理的プロセスにおけるエネルギー-速度トレードオフが、基本的問題のアルゴリズム設計と効率に与える影響は何か？
• RQ4 このような改善の限界は何か？ そして、それらを細粒度的かつエネルギー中心のチューリング・チャーチの thesis の拡張として形式化できるか？
• RQ5 古典的力学を超えたどの物理現象が、さらに低エネルギーかつ高並列性の計算を可能にするか？

主な発見

• 本稿は、部分積を物理的集積メカニズムで複数プロセス間で合算する手法を用いて、整数行列乗算を Õ(n²) の時間とエネルギーで実行するアルゴリズムを構築した。
• ブール行列乗算では、拡散に基づく物理的プロセスにより論理的ORの並列評価が可能となり、時間とエネルギーの両方が Õ(n²) の複雑度を達成した。
• α = 2（ニュートン力学）の場合、n^(9/5) 個のプロセスがそれぞれ n^(1/5) 個の要素を n^(3/5) の速度で処理することで、時間とエネルギーの両方が O(n^(9/5)) に抑えられる。
• α = 1 の場合、時間 O(n^(2s)) とエネルギー O(n^(1−s)) のトレードオフが可能であり、任意の s ∈ [0,1] に対して成立する。特に s = 1/3 の場合、時間とエネルギーの両方が O(n^(2/3)) に抑えられる。
• α ≥ 1 の場合、物理的制約に反しない範囲で、時間とエネルギーの両方が2次未塔に抑えられることを示し、1回の演算につき1単位のエネルギー消費という仮定に疑問を呈する。
• 結果から、制御可能なエネルギー-速度トレードオフを持つ物理系は、基本的アルゴリズムにおけるリソース使用量に非自明かつ多項式的改善をもたらす可能性があることが示唆される。