[論文レビュー] Randomized algorithms for matrices and data

Michael W. Mahoney|arXiv (Cornell University)|Apr 29, 2011

Markov Chains and Monte Carlo Methods参考文献 164被引用数 161

ひとこと要約

この独著は、大規模な行列問題のための確率的アルゴリズムを提示しており、ランダムサンプリングと射影を用いて最小二乗法および低ランク行列近似を高速化する。統計的リービングスコアを活用することで、決定的アルゴリズムと比較して、計算速度が向上し、数値的性能が向上し、より高い耐性を示す。これにより、巨大なデータセットのスケーラブルな解析が可能になる。

ABSTRACT

Randomized algorithms for very large matrix problems have received a great deal of attention in recent years. Much of this work was motivated by problems in large-scale data analysis, and this work was performed by individuals from many different research communities. This monograph will provide a detailed overview of recent work on the theory of randomized matrix algorithms as well as the application of those ideas to the solution of practical problems in large-scale data analysis. An emphasis will be placed on a few simple core ideas that underlie not only recent theoretical advances but also the usefulness of these tools in large-scale data applications. Crucial in this context is the connection with the concept of statistical leverage. This concept has long been used in statistical regression diagnostics to identify outliers; and it has recently proved crucial in the development of improved worst-case matrix algorithms that are also amenable to high-quality numerical implementation and that are useful to domain scientists. Randomized methods solve problems such as the linear least-squares problem and the low-rank matrix approximation problem by constructing and operating on a randomized sketch of the input matrix. Depending on the specifics of the situation, when compared with the best previously-existing deterministic algorithms, the resulting randomized algorithms have worst-case running time that is asymptotically faster; their numerical implementations are faster in terms of clock-time; or they can be implemented in parallel computing environments where existing numerical algorithms fail to run at all. Numerous examples illustrating these observations will be described in detail.

研究の動機と目的

• データ解析に生じる大規模な行列問題のための、より高速でスケーラブルなアルゴリズムの開発。
• ランダマイゼーションが行列計算における計算効率、数値的安定性、解釈可能性をどのように向上させるかの提示。
• 統計的リービングスコアと確率的行列アルゴリズムを結びつける理論的かつ実用的な枠組みの確立。
• 現代の並列および分散アーキテクチャにおける効率的な実装の実現。
• 確率的アルゴリズムが時計時間、スケーラビリティ、耐性の面で決定的手法を上回ることの示唆。

提案手法

• 行列からの代表的な列または行を選択するために、統計的リービングスコアに基づくランダムサンプリングの使用。
• 線形結合を通じて入力行列の低次元スケッチを作成するために、ランダム射影行列の適用。
• 入力行列 A の確率的スケッチの構築により、次元削減を実現しながらも、主要な構造的性質を保持。
• ランダムサンプリングと射影を用いた高速アルゴリズムの定式化により、相対誤差近似保証を維持。
• ランダマイゼーションの影響を基本的な線形代数から分離し、細かく制御可能にし、ドメイン知識との統合を可能に。
• 精度と効率の向上を図るため、サンプリングと射影を組み合わせたハイブリッド二段階アルゴリズムの設計。

実験結果

リサーチクエスチョン

• RQ1 ランダマイゼーションは、最小二乗法や低ランク近似といった古典的行列問題をどのように高速化できるか？
• RQ2 統計的リービングスコアは、行列に対する効果的な確率的サンプリング戦略を設計する上で果たす役割は何か？
• RQ3 ランダムアルゴリズムは、実行時間、数値的安定性、耐性の面で、決定的アルゴリズムをどのように上回るか？
• RQ4 並列および分散システムを含む現代の計算アーキテクチャを活用するため、ランダム行列アルゴリズムはどのように適合できるか？
• RQ5 ランダムアルゴリズムは、大規模データ応用において、解の正則化や解釈可能性をどの程度向上させるか？

主な発見

• 確率的アルゴリズムは、最小二乗法および低ランク近似の分野で、現在存在する最良の決定的アルゴリズムよりも漸近的に速い最悪ケース実行時間を達成する。
• 確率的アルゴリズムの数値的実装は、特に非常に大きな行列に対して、時計時間の大幅な高速化を示す。
• 統計的リービングスコアの使用により、より正確で安定した列／行サンプリングが可能となり、近似品質が向上する。
• 確率的手法は自然に並列化可能であり、従来のアルゴリズムが失敗する分散およびマルチコア計算環境に適している。
• 確率的アルゴリズムの出力は、経験的により耐性があり、正則化されていることが示され、暗黙の正則化効果が裏付けられる。
• サンプリングまたは射影による確率的スケッチは、高い確率で主要な行列構造を保持するため、信頼性の高い低ランク近似および回帰解が可能になる。