[論文レビュー] Improving the numerical stability of fast matrix multiplication algorithms.

Grey Ballard, Austin R. Benson+3 more|arXiv (Cornell University)|Jul 2, 2015

Tensor decomposition and applications参考文献 19被引用数 4

ひとこと要約

この論文は、理論的誤差バウンダリーを厳密にし、異常な入力からの誤差を軽減するための対角スケーリングを導入し、精度と性能の向上を実証的に検証することで、実用的高速行列乗算アルゴリズムの数値的安定性を向上させた。数値的コストは許容可能であり、アルゴリズム的改善によってさらなる低減が可能であることが示された。

ABSTRACT

Fast algorithms for matrix multiplication, or those that perform asymptotically fewer scalar operations than the classical algorithm, have been considered primarily of theoretical interest. Aside from Strassen's original algorithm, few fast algorithms have been efficiently implemented or used in practical applications. However, there exist many practical alternatives to Strassen's algorithm with varying performance and numerical properties. While fast algorithms are known to be numerically stable, their error bounds are slightly weaker than the classical algorithm. We argue in this paper that the numerical sacrifice of fast algorithms, particularly for the typical use cases of practical algorithms, is not prohibitive, and we explore ways to improve the accuracy both theoretically and empirically. The numerical accuracy of fast matrix multiplication depends on properties of the algorithm and of the input matrices, and we consider both contributions independently. We generalize and tighten previous error analyses of fast algorithms, compare the properties among the class of known practical fast algorithms, and discuss algorithmic techniques for improving the error guarantees. We also present means for reducing the numerical inaccuracies generated by anomalous input matrices using diagonal scaling matrices. Finally, we include empirical results that test the various improvement techniques, in terms of both their numerical accuracy and their performance.

研究の動機と目的

• 高速行列乗算アルゴリズムが古典的手法よりも数値的に不安定であるという長年の認識に対処すること。
• 既存の理論的バウンダリーを上回る実用的高速アルゴリズムの数値的精度を分析および改善すること。
• 入力行列の性質が高速行列乗算における数値誤差に与える影響を調査すること。
• 数値誤差を低減するためのアルゴリズム的技術（特に対角スケーリング）の開発と評価を行うこと。
• 提案手法の精度向上と性能トレードオフを実証的に検証すること。

提案手法

• 高速行列乗算アルゴリズムの先行誤差解析を一般化し、より精密な理論的バウンダリーを提供する。
• 入力行列の構造が数値誤差に与える影響を分析し、不安定性が生じる状況を同定する。
• 悪条件の入力に起因する数値的誤差を低減するための前処理手法として対角スケーリング行列を導入する。
• 複数の高速アルゴリズムにおける数値的精度と性能を評価するための実験的ベンチマークを設計・実装する。
• 既知の実用的高速アルゴリズムの数値的性質を比較し、安定性と効率性のトレードオフを同定する。
• 理論的分析と実証的テストを併用して、スケーリングおよびアルゴリズム的変更の有効性を評価する。

実験結果

リサーチクエスチョン

• RQ1 実用的高速行列乗算アルゴリズムの理論的誤差バウンダリーは、古典的手法と比べてどのように異なるか？
• RQ2 入力行列の性質は、高速行列乗算における数値誤差の拡大にどのような役割を果たすか？
• RQ3 対角スケーリングは、異常な入力行列に対して高速行列乗算の数値的誤差を効果的に低減できるか？
• RQ4 誤差低減技術を高速アルゴリズムに適用する際の、数値的精度と性能のトレードオフは何か？
• RQ5 実用的条件下で、精度、安定性、性能のバランスが最も優れた高速行列乗算アルゴリズムはどれか？

主な発見

• 高速行列乗算アルゴリズムの数値的誤差バウンダリーは一般化され、さらに厳密化され、理論的安定性の向上が示された。
• 入力行列の構造は数値的誤差に顕著な影響を及ぼし、特定の行列では高速アルゴリズムにおける不安定性が顕著に拡大される。
• 対角スケーリングは、異常な入力行列に起因する数値的誤差を低減し、性能に悪影響を及げることなく誤差保証を向上させる。
• 実証的結果から、提案手法が数値的精度を向上させつつも、競争力ある性能を維持することが確認された。
• 特にスケーリングと洗練された誤差解析を施した場合、高速アルゴリズムが古典的手法に比べて数値的犠牲を強いられるという点は、通常の使用状況では許容可能であることが示された。
• 既知の実用的高速アルゴリズムの中で、中間計算の条件数が良好なものがより強い数値的安定性を示した。