[論文レビュー] Randomized methods for matrix computations and analysis of high dimensional data

Per‐Gunnar Martinsson|arXiv (Cornell University)|Jul 6, 2016

Stochastic Gradient Optimization Techniques参考文献 12被引用数 15

ひとこと要約

本稿では、計算速度と応用可能性を向上させつつ、スパarsityや非負性といった構造的性質を保持する、効率的な行列因子分解および高次元データ解析のための確率的アルゴリズムを提示する。これらの手法は、Krylov法やランクを露わにするQR分解といった古典的手法と比較され、問題の特性やデータ構造に基づいた手法選択の指針が提供される。

ABSTRACT

This report surveys a number of randomized techniques that have recently been proposed for computing matrix factorizations and for analyzing high dimensional data sets. It presents some modifications to algorithms that have previously been published that increase efficiency and broaden the range of applicability of the methods. The report also describes classical (non-randomized) techniques for solving the same problems such as, e.g., Krylov methods, subspace iteration, and rank-revealing QR factorizations. Differences and similarities between classical and new methods are discussed, and guidance is provided on when to use which set of techniques. One chapter discusses so called structure preserving factorizations such as the Interpolative Decomposition (ID) and the CUR decomposition. The factors in these decompositions preserve certain properties of the original matrix such as sparsity of non-negativity, which both improves computational efficiency and helps with data interpretation.

研究の動機と目的

• 近年の行列計算および高次元データ解析のための確率的技術を調査すること。
• アルゴリズムの修正を通じて、既存の確率的アルゴリズムの効率性と応用可能性を向上させること。
• Krylov法、部分空間反復、ランクを露わにするQRといった古典的手法と、確率的手法を比較すること。
• 解釈性の利点がある構造を保存する因子分解、例えば補間分解（ID）やCURの計算的・解釈的利点を分析すること。
• データの性質と計算上の目的に基づいて、古典的手法と確率的手法の間で選択するための実用的指針を提供すること。

提案手法

• 行列因子分解の高速化を目的とした、確率的サンプリングおよびプロジェクション技術の適応。
• スパarsityや非負性といった構造的性質を、CUR や ID といった確率的因子分解に統合すること。
• ランダムプロジェクションを用いて、主要な数値的性質を維持したまま行列の次元を低減すること。
• 精度と実行時間の観点から、確率的アルゴリズムと古典的反復手法（Krylov部分空間法や部分空間反復）を比較すること。
• 数値的安定性および低ランク近似の品質を向上させるために、確率的設定においてランクを露わにする戦略を統合すること。
• 耐障害性と効率性を両立させるために、古典的および確率的要素を組み合わせたハイブリッド手法の設計。

実験結果

リサーチクエスチョン

• RQ1 Krylov法や部分空間反復といった古典的手法と比較して、確率的行列アルゴリズムは計算効率および精度の面でどのように異なるか？
• RQ2 ID や CUR といった構造を保存する因子分解は、どのような状況で標準的な低ランク近似を上回るか？
• RQ3 既存の確率的アルゴリズムに加えられる修正は、多様なデータタイプにわたる耐障害性と応用可能性をどのように向上させるか？
• RQ4 スパarsity および非負性は、確率的行列因子分解でどのように保持され、解釈性を向上させるか？
• RQ5 行列計算において、古典的手法と確率的手法の間で選択するための基準は何か？

主な発見

• 確率的手法は、大規模な行列因子分解において計算コストを顕著に削減しながらも、高い精度を維持する。
• CUR や ID といった構造を保存する因子分解は、スパarsity および非負性を保持しており、データ解析における解釈性と効率性を向上させる。
• 改良された確率的アルゴリズムは、初期のバージョンと比較して、より広範な応用範囲と向上した数値的安定性を示す。
• 確率的設定においてランクを露わにする戦略を統合することで、低ランク近似の品質が向上する。
• データ構造と計算制約に基づいて、古典的手法と確率的手法の選択を指針づける基準が確立された。
• 比較的分析の結果、高次元データにおいて特に、確率的手法は精度を損なわず、古典的手法を上回る速度を発揮することが示された。