[論文レビュー] Linearly Convergent Randomized Iterative Methods for Computing the Pseudoinverse

Robert M. Gower, Peter Richtárik|arXiv (Cornell University)|Dec 19, 2016

Sparse and Compressive Sensing Techniques参考文献 26被引用数 17

ひとこと要約

本稿は、擬似逆行列の3つの変分的特徴づけを活用して、実行列の Moore-Penrose 擬似逆行列を計算する最初の線形収束性を示す確率的反復的手法を導入する。提案手法である SATAX と SAXAS は、それぞれ一般行列および対称行列に対して線形収束を達成し、特に初期反復において、ニュートン＝シュルツ法を上回る性能を発揮する。

ABSTRACT

We develop the first stochastic incremental method for calculating the Moore-Penrose pseudoinverse of a real matrix. By leveraging three alternative characterizations of pseudoinverse matrices, we design three methods for calculating the pseudoinverse: two general purpose methods and one specialized to symmetric matrices. The two general purpose methods are proven to converge linearly to the pseudoinverse of any given matrix. For calculating the pseudoinverse of full rank matrices we present two additional specialized methods which enjoy a faster convergence rate than the general purpose methods. We also indicate how to develop randomized methods for calculating approximate range space projections, a much needed tool in inexact Newton type methods or quadratic solvers when linear constraints are present. Finally, we present numerical experiments of our general purpose methods for calculating pseudoinverses and show that our methods greatly outperform the Newton-Schulz method on large dimensional matrices.

研究の動機と目的

• Moore-Penrose 擬似逆行列を計算するための、線形収束が保証される最初の確率的インクリメンタル手法を開発すること。
• SVD やニュートン＝シュルツ法の限界を、メモリや計算コストが膨大なビッグデータ環境で解消すること。
• 対称行列に対して特化した手法を設計し、収束速度と効率性を向上させること。
• 制約付き最適化や二次計画法に有用な範囲空間射影の効率的近似を可能にすること。
• 確率的手法とニュートン＝シュルツ法の長所を組み合わせたハイブリッドアルゴリズムを設計し、単独で用いる場合を上回る性能を達成すること。

提案手法

• 擬似逆行列の3つの変分的特徴づけ（P1, P2, P3）を活用し、Frobenius 範数の最小化に基づく反復更新則を導出する。
• 一般行列向けに SATAX（Stochastic Averaged X）を提案し、スケッチと確率的部分空間への射影を用いて擬似逆行列推定値を更新する。
• 対称行列向けに特化した手法として SAXAS（Stochastic Averaged X for Symmetric matrices）を導入し、対称スケッチと特化した更新則を用いる。
• 確率的スケッチ行列 S を用いて、行列積（例：AS, A^TAS）の低ランク近似を計算し、反復ごとの計算コストを削減する。
• ニュートン＝シュルツ法の収束条件を満たすために、SATAX の反復後に正規化ヒューリスティックを適用する。
• 初期段階で確率的収束を活用し、その後ニュートン＝シュルツ法の局所的2次収束を用いるハイブリッド手法 NS-SATAX および NS-SAXAS を設計する。

実験結果

リサーチクエスチョン

• RQ1 線形収束率を有する確率的インクリメンタル手法を設計し、擬似逆行列を計算可能か？
• RQ2 SVD やニュートン＝シュルツ法がメモリや時間的制約により失敗する大規模行列において、効率的な擬似逆行列計算が可能か？
• RQ3 対称行列向けに特化した手法が、一般向けの確率的手法よりも高速な収束を達成できるか？
• RQ4 確率的手法とニュートン＝シュルツ法を最適に組み合わせることで、全体的な性能をさらに向上できるか？
• RQ5 確率的手法を範囲空間射影の近似に拡張可能か？これにより制約付き最適化への応用が可能になるか？

主な発見

• SATAX と SAXAS は、それぞれ任意の実行列および対称行列に対して、理論的収束保証のもとで線形収束を示す。
• 大規模な次元を持つ行列において、SATAX は初期反復においてニュートン＝シュルツ法を上回る性能を示す。これは初期収束が速いことに起因する。
• 1回の有効なパス後に SATAX からニュートン＝シュルツ法に切り替えるハイブリッド手法 NS-SATAX は、ニュートン＝シュルツ法単体よりも優れた全体的な性能を達成する。
• 実世界のデータセット（a9a や gisette_scale）において、SAXAS_uni および SAXAS_ada は、相対残差が 10^-6 未満に達するまでの速度がニュートン＝シュルツ法を著しく上回る。
• ガウス行列で生成されたランダム行列においては、高精度な擬似逆行列計算ではニュートン＝シュルツ法が依然としてより効率的であるため、ハイブリッド手法の有効性が裏付けられる。
• 提案手法により、制約付き最適化における不正確ニュートン法や線形制約付き二次計画法に不可欠な範囲空間射影の効率的近似が可能になった。