[論文レビュー] Randomized Augmentation and Additive Preprocessing

Victor Y. Pan, Guoliang Qian+1 more|arXiv (Cornell University)|Dec 18, 2014

Face and Expression Recognition参考文献 1被引用数 2

ひとこと要約

本論文では、ガウス分布、スパース、または構造的ランダム行列を用いたランダム化された増幅および加法的前処理により、悪条件な行列の条件数を低減する手法を提案する。固定ランクのスケーリングされたランダム行列を付加または加算することで、行列の条件数が顕著に改善され、低ランク近似、特異値部分空間の計算、ブロック対角化がより正確に行えるようになる。特に、スパースまたは構造的前処理器を用いても、強力な経験的性能が得られる。

ABSTRACT

Random matrices tend to be well conditioned, and so one can expect that appending prop-erly scaled random rows and columns or adding a scaled random matrix of a fixed rank can decrease the condition number of an ill conditioned matrix. We prove probabilistic estimates for this decrease by using Gaussian random matrices as the preprocessors, but our tests showed equally strong impact on the condition numbers in the case where the preprocessors were ran-dom sparse and structured matrices, defined by much fewer random parameters. For sample applications of randomized preprocessing to matrix computations, we precondition an ill condi-tioned matrix, approximate its singular spaces associated with its largest and smallest singular values, approximate this matrix with low-rank matrices, and yield its 2 × 2 block diagonaliza-tion. Combining our present techniques with randomized matrix multiplication (which we study

研究の動機と目的

• 行列計算における数値的安定性と精度を損なう悪条件な行列の課題に対処すること。
• ランダム化された増幅または加法的前処理が、行列の条件数を効果的に低減できるかどうかを調査すること。
• ガウス分布、スパース、構造的ランダム行列といった異なるタイプのランダム前処理器が、条件数低減に与える性能を評価すること。
• 提案された前処理を、低ランク近似やブロック対角化といった実用的行列計算タスクに応用すること。

提案手法

• 適切なスケーリングを施したガウスランダム行列を前処理器として用い、元の行列に行または列を付加するか、加算することで条件数を改善する。
• ランダム行列理論に基づく理論的推定を用いて、条件数の確率的低下を分析する。
• より少ないランダムパラメータで済むが、同様の条件数低減効果を示すスパースおよび構造的ランダム行列といった代替前処理器をテストする。
• 最大および最小の特異値に関連する特異値部分空間を、前処理された行列を用いて近似する。
• 前処理された行列を用いて低ランク近似を計算し、2×2ブロック対角化を実行する。
• ランダム化された行列乗算技術と前処理法を組み合わせることで、計算効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ランダム化された増幅または加法的前処理は、悪条件な行列の条件数を顕著に低減できるか？
• RQ2 ガウスランダム前処理器とスパースまたは構造的ランダム行列の間で、条件数低減における性能に差は生じるか？
• RQ3 前処理は、低ランク行列近似の精度をどの程度向上させるか？
• RQ4 この手法は、最大および最小の特異値に対応する特異値部分空間を信頼性高く近似できるか？
• RQ5 前処理とランダム化された行列乗算の組み合わせは、計算効率と安定性をどのように向上させるか？

主な発見

• ガウスランダム行列によるランダム化前処理は、行列の条件数を顕著に低減し、確率的推定が可能になる。
• スパースおよび構造的ランダム行列は、より少ないランダムパラメータで済むが、ガウス前処理器と同等の条件数低減効果を示す。
• 本手法により、悪条件な行列の最大および最小の特異値に関連する特異値部分空間の正確な近似が可能になる。
• 前処理された行列の低ランク近似は、前処理なしの手法に比べ、より高い精度と安定性を達成する。
• 2×2ブロック対角化は、ランダム化前処理の活用により効果的に実現できる。
• ランダム化前処理をランダム化された行列乗算技術と統合することで、計算効率が向上し、数値的頑健性を維持できる。