[論文レビュー] A Monte Carlo algorithm for efficient large matrix inversion

L. A. García‐Cortés, C. Cabrillo|ArXiv.org|Dec 23, 2004

Scientific Research and Discoveries参考文献 14被引用数 4

ひとこと要約

本稿では、2つの結合されたギブスサンプラーを用いて逆共分散行列を推定することで、大規模な非エルミート行列の効率的逆行列化を実現する、新しいモンテカルロアルゴリズムである相関チェーン（CC）法を提案する。従来の確率的手法（例：確率的推定（SE）アルゴリズム）に比べ、最大8倍の高速化を達成し、ガウス＝ザイデル法と同等の収束特性を示す一方で、低メモリ使用量と高い並列効率を維持する。

ABSTRACT

This paper introduces a new Monte Carlo algorithm to invert large matrices. It is based on simultaneous coupled draws from two random vectors whose covariance is the required inverse. It can be considered a generalization of a previously reported algorithm for hermitian matrices inversion based in only one draw. The use of two draws allows the inversion on non-hermitian matrices. Both the conditions for convergence and the rate of convergence are similar to the Gauss-Seidel algorithm. Results on two examples are presented, a real non-symmetric matrix related to quantitative genetics and a complex non-hermitian matrix relevant for physicists. Compared with other Monte Carlo algorithms it reveals a large reduction of the processing time showing eight times faster processing in the examples studied.

研究の動機と目的

• 標準的な直接法がメモリ制約のため実行不可能な場合に、スケーラブルでメモリ効率の良い大規模スパース行列の逆行列化手法を開発すること。
• 既存のモンテカルロ逆行列化手法を、正定値またはエルミート行列に限らず、一般の非エルミート行列へと拡張すること。
• 物理学や遺伝学における大規模問題に対して、従来の確率的手法（例：確率的推定（SE））よりも計算効率を向上させること。
• 理論的収束条件を確立し、実世界の数値例において実用的な性能向上を示すこと。

提案手法

• 本手法は2つの結合されたギブスサンプラーを用い、それぞれのランダムベクトル z と w の同時モーメントが E[z w†] = C⁻¹ を通じて逆行列 C⁻¹ を推定する。
• エルミート行列に限定される単一サンプルのギブスサンプラー（GS）を、非エルミートおよび非正定値行列にも適用可能な二サンプルフレームワークに一般化する。
• サイクル内での以前の値を用いた条件付き更新を繰り返し行うガウス＝ザイデル風の更新ルールを用いる。各成分は順次更新される。
• 更新式は zᵢ^(k) = φᵢ^(k)/√cᵢᵢ − (1/cᵢᵢ)Σⱼ₌₁ⁱ⁻¹ zⱼ^(k)cᵢⱼ − (1/cᵢᵢ)Σⱼ₌ᵢ₊₁ⁿ zⱼ^(k−1)cᵢⱼ および w についても同様であり、独立なノイズ φ と ψ を用いる。
• 収束は反復行列 T のスペクトル半径に依存し、sp(T) < 1 かつ D が非特異であれば収束が保証される。
• 本手法は低メモリアクセスと高い並列性を活用しており、処理時間は行列の非ゼロ要素数に比例する。

実験結果

リサーチクエスチョン

• RQ1 非エルミート行列の逆行列化において、従来の単一サンプルまたは連立一次方程式解法よりも効率的な二サンプルのモンテカルロ手法を設計可能か？
• RQ2 このような二サンプルギブスサンプリングフレームワークの収束条件は何か？ また、古典的反復ソルバーと比較してどのように異なるか？
• RQ3 大規模行列において、提案手法の相関チェーン（CC）法と確率的推定（SE）法の速度および精度の面での性能差は何か？
• RQ4 行列サイズとスパarsityが重要な定量的遺伝学や格子QCDのような実世界の問題に、このアルゴリズムをどの程度適用可能か？

主な発見

• CCアルゴリズムは2つのベンチマークケースにおいて、SE法に比べ最大8倍の高速化を達成し、CPU総時間はそれぞれ10,859秒と10,503秒であったのに対し、SE法は87,167秒と88,721秒であった。
• 本手法は高い正確性を維持しており、tr(z†Qw) の推定期待値が正確な値と統計誤差の範囲内で一致している（例：413,004.47 対 413,007.84）。
• CC法では分散とモンテカルロ標準誤差が顕著に低く抑えられており、特にSE法（例：184,130.43 対 67,827.29）に比べて、より効率的なサンプリングが実現されている。
• 収束はガウス＝ザイデル法と類似した条件で達成され、反復行列 T のスペクトル半径が1未満であれば収束が保証される。
• 本手法は非エルミートおよび非正定値行列にも適用可能であり、単一サンプルのギブスサンプリングやSE法の主な制限を克服している。
• 対角優位性を高めるために行および列の再順序付けを行うことで収束が向上し、D が特異または悪条件の場合には代替の分割方法を用いることができる。