[論文レビュー] Randomized Circulant and f-circulant Preprocessing

Victor Y. Pan, Liang Zhao|arXiv (Cornell University)|Jan 22, 2015

Stochastic Gradient Optimization Techniques被引用数 1

ひとこと要約

本稿は、平均的な入力行列に対して特徴的で、非特異的かつ良好に条件付けられた構造的乗数（特に巡回行列およびf-巡回行列）で事前処理を行うことで、ピvォティングを伴わないガウスの消去法（GENP）およびブロックガウスの消去法（BGE）の安全性および数値的安全性を形式的に確立している。ランダム化された事前処理により、正規分布に従う構造的または非構造的乗数を用いることで、確率1またはそれに近い確率で安全かつ数値的に安全な実行が保証され、長年の経験的観察が理論的裏付けを伴って解明された。

ABSTRACT

Gaussian elimination with no pivoting and block Gaussian elimination are attractive alternatives to the customary but communication intensive Gaussian elimination with partial pivoting (hereafter we use the acronyms GENP, BGE, and GEPP} provided that the computations proceed safely and numerically safely}, that is, run into neither division by 0 nor numerical problems. Empirically, safety and numerical safety of GENP have been consistently observed in a number of papers where an input matrix was pre-processed with various structured multipliers chosen ad hoc. Our present paper provides missing formal support for this empirical observation and explains why it was elusive so far. Namely we prove that GENP is numerically unsafe for a specific class of input matrices in spite of its pre-processing with some well-known and well-tested structured multipliers, but we also prove that GENP and BGE are safe and numerically safe for the average input matrix pre-processed with any nonsingular and well-conditioned multiplier. This should embolden search for sparse and structured multipliers, and we list and test some new classes of them. We also seek randomized pre-processing that universally (that is, for all input matrices) supports (i) safe GENP and BGE with probability 1 and/or (ii) numerically safe GENP and BGE with a probability close to 1.We achieve goal (i) with a Gaussian structured multiplier and goal (ii) with a Gaussian unstructured multiplier and alternatively with Gaussian structured augmentation. We consistently confirm all these formal results with our tests of GENP for benchmark inputs. We have extended our approach to other fundamental matrix computations and keep working on further extensions.

研究の動機と目的

• ピvォティングを伴わないGENPおよびBGEの安全かつ数値的に安定した実行を可能にする構造的行列事前処理の経験的成功を形式的に正当化すること。
• 一貫した経験的成功にもかかわらず、それまでの理論的支援が不完全であった理由を特定すること。
• GENPおよびBGEにおいて、普遍的に安全性および数値的安全性を保証するランダム化、スパースかつ構造的な乗数を開発すること。
• ガウスの消去法を越えた他の基本的行列計算へとフレームワークを拡張すること。
• ベンチマーク行列を用いた包括的なテストを通じて理論的主張の妥当性を検証すること。

提案手法

• 巡回行列およびf-巡回行列による事前処理下でのGENPおよびBGEの挙動に関する理論的分析により、平均的入力行列に対して安全性を証明する。
• 特定の入力行列に対して、既知の構造的乗数（たとえば巡回行列）を用いた事前処理後でも、GENPが数値的に不安定であることを証明する。
• 確率1で安全なGENPおよびBGEを達成するためのガウス分布に従う構造的乗数の導入。
• ガウス分布に従う非構造的乗数とガウス分布に従う構造的補完を用いることで、確率的に高い水準で数値的安全なGENPおよびBGEを達成する。
• 計算コストを削減しながらも安全性を維持する新しいスパースかつ構造的な乗数クラスの設計と評価。
• ガウスの消去法を越えた他の行列計算へのアプローチの拡張（進行中）。

実験結果

リサーチクエスチョン

• RQ1 なぜ、構造的事前処理の経験的成功が、これまで理論的に説明されなかったのか？
• RQ2 構造的乗数による事前処理を施した場合に、GENPおよびBGEが安全かつ数値的に安全であることを形式的に証明できるか？
• RQ3 ガウス分布に従う構造的または非構造的乗数によるランダム化事前処理が、普遍的に安全性、または高い確率での数値的安全性を保証するか？
• RQ4 特に巡回行列およびf-巡回行列を含む、どのような構造的乗数クラスが、通信コストおよび計算コストを低減しながらも安全性を維持できるか？
• RQ5 このフレームワークは、ガウスの消去法を越えた他の基本的行列計算へ一般化可能か？

主な発見

• 特定の入力行列に対して、既知の構造的乗数（たとえば巡回行列）を用いた事前処理後でも、GENPおよびBGEは数値的に不安定である。
• 任意の非特異的かつ良好に条件付けられた乗数を用いた事前処理により、平均的入力行列に対してGENPおよびBGEは安全かつ数値的に安全である。
• ガウス分布に従う構造的乗数を用いることで、確率1で安全なGENPおよびBGEが達成される。
• ガウス分布に従う非構造的乗数とガウス分布に従う構造的補完を組み合わせることで、確率が1に限りなく近い水準で数値的安全なGENPおよびBGEが達成される。
• 理論的保証は、ベンチマーク行列を用いたテストを通じて一貫して確認された。
• このフレームワークは、他の基本的行列計算へも拡張可能であり、現在もその方向への研究が進行中である。