[論文レビュー] A $N$-Body Solver for Square Root Iteration

Matt Challacombe, Terry Haut+1 more|arXiv (Cornell University)|Aug 24, 2015

Matrix Theory and Algorithms参考文献 2被引用数 4

ひとこと要約

本稿では、行列の平方根および逆平方根の1次シュルツ反復を高速化するためのスパース近似行列乗算（SpAMM）N体ソルバを提案する。製品テンソル内の無視可能な部分集合を、修正されたコーシー＝シュワルツ基準を用いて除外することで、次元削減された複雑性を達成し、収縮的恒等写像反復における画期的な圧縮局所性—レンズ効果—を示す。正則化とスコープの適用により、悪条件系において複雑性が桁違いに低減される。

ABSTRACT

We develop the Sparse Approximate Matrix Multiply ($ t SpAMM$) $n$-body solver for first order Newton Schulz iteration of the matrix square root and inverse square root. The solver performs recursive two-sided metric queries on a modified Cauchy-Schwarz criterion, culling negligible sub-volumes of the product-tensor for problems with structured decay in the sub-space metric. These sub-structures are shown to bound the relative error in the matrix-matrix product, and in favorable cases, to enjoy a reduced computational complexity governed by dimensionality reduction of the product volume. A main contribution is demonstration of a new, algebraic locality that develops under contractive identity iteration, with collapse of the metric-subspace onto the identity's plane diagonal, resulting in a stronger $ t SpAMM$ bound. Also, we carry out a first order {Fréchet} analyses for single and dual channel instances of the square root iteration, and look at bifurcations due to ill-conditioning and a too aggressive $ t SpAMM$ approximation. Then, we show that extreme $ t SpAMM$ approximation and contractive identity iteration can be achieved for ill-conditioned systems through regularization, and we demonstrate the potential for acceleration with a scoping, product representation of the inverse factor.

研究の動機と目的

• 大規模な数値問題における行列平方根および逆平方根の計算のための効率的なN体ソルバの開発。
• 行列メトリックの構造的減衰を活用し、スパース近似によって計算複雑性を低減する。
• ニュートン＝シュルツ反復における収縮的恒等写像反復から生じる、新しい代数的局所性—レンズ効果—の導入。
• 1次フレシェ解析を用いたSpAMM近似における誤差蓄積および数値感受性の分析。
• 逆因子の積表現における正則化とスコープの実装による実用的高速化の提示。

提案手法

• 製品テンソル内の無視可能な部分集合を除外するため、再帰的二重メトリッククエリに適応した修正コーシー＝シュワルツ基準を提案。
• しきい値付きテンソル積演算子 $\otimes_\tau$ を用いた再帰的SpAMMカーネルを採用し、行列同士の積を近似。
• 収縮的反復下で、メトリック部分空間が恒等行列の平面対角上に収束するレンズメカニズムを導入し、SpAMMの誤差境界を厳密化。
• 1次フレシェ解析を適用し、単一および二重チャネル反復におけるSpAMM遮蔽誤差の方向的影響とその大きさを分離。
• 逆因子の積表現における正則化とスコープを用いて誤差を制御し、複雑性低減を可能にする。
• ブロック・バイ・マグニチュード（BBM）順序付けとSFCヒューリスティクスを用い、部分空間メトリックにおける局所性を向上させ、フィルインを低減し、キャッシュ効率を向上。

実験結果

リサーチクエスチョン

• RQ1 修正されたコーシー＝シュワルツ基準を用いることで、SpAMM近似における行列平方根積の相対誤差を制限できるか？
• RQ2 収縮的恒等写像反復が、製品テンソルの有効次元を低減する新しい圧縮局所性（レンズ効果）を誘発するか？
• RQ3 悪条件系におけるSpAMM近似誤差はどのように蓄積するか？また、正則化は分岐を制御する上で果たす役割は何か？
• RQ4 逆因子の積表現におけるスコープと正則化は、計算複雑性をどの程度低減できるか？
• RQ5 収縮的反復下でレンズ効果とSpAMM境界を解析的に厳密化できるか？そして、これにより測定可能な複雑性低減が達成されるか？

主な発見

• 修正されたコーシー＝シュワルツ基準により、SpAMM積における相対誤差が制限され、式 (7) で形式化されている。
• レンズ効果—メトリック部分空間が恒等行列の平面対角上に収束する現象—は、収縮的恒等写像反復下で出現し、より厳密なSpAMM境界と複雑性低減を可能にする。
• 悪条件系の6-311G**水ボックスにおいて、正則化されたMAYEBOO近似は、非正則化されたMAYSS法と比較して、最大で2桁の複雑性低減を達成する。
• $\kappa(\boldsymbol{s})=10^{10}$ のナノチューブ系列において、MAYEBOOとMAYSSのレンズ効果を示す製品体積比は $n^3$ に達し、系のサイズが増加するにつれて強力な複雑性低減の可能性を示している。
• 数値感受性は、条件数の影響により主に $\boldsymbol{z}$ チャネルで増幅され、$\tau_s$ があまりに攻撃的になると分岐が発生するため、正則化が不可欠である。
• スコープを $\tau_0 = 0.1$ で実施することで、ネストされた因子の「1次元スライス」が可能となり、逆因子のブートストラップに低複雑性で着手するための足場が得られる。