[論文レビュー] Revisiting the Nystrom Method for Improved Large-Scale Machine Learning

Alex Gittens, Michael W. Mahoney|arXiv (Cornell University)|Mar 7, 2013

Sparse and Compressive Sensing Techniques参考文献 66被引用数 57

ひとこと要約

この論文は、カーネル行列やラプラシアン行列で一般的に用いられる対称正半定値（SPSD）行列の低ランク近似に用いられるNystrom法を再考し、サンプリング法と射影法を実験的に比較するとともに、改善された最悪ケース理論的境界を導出する。Leviageスコアに基づくサンプリングとランダム射影が、スペクトル、Frobenius、トレースノルム誤差において、先行研究と比較して質的に優れた理論的保証を提供する補完的性能を示す。

ABSTRACT

We reconsider randomized algorithms for the low-rank approximation of symmetric positive semi-definite (SPSD) matrices such as Laplacian and kernel matrices that arise in data analysis and machine learning applications. Our main results consist of an empirical evaluation of the performance quality and running time of sampling and projection methods on a diverse suite of SPSD matrices. Our results highlight complementary aspects of sampling versus projection methods; they characterize the effects of common data preprocessing steps on the performance of these algorithms; and they point to important differences between uniform sampling and nonuniform sampling methods based on leverage scores. In addition, our empirical results illustrate that existing theory is so weak that it does not provide even a qualitative guide to practice. Thus, we complement our empirical results with a suite of worst-case theoretical bounds for both random sampling and random projection methods. These bounds are qualitatively superior to existing bounds---e.g. improved additive-error bounds for spectral and Frobenius norm error and relative-error bounds for trace norm error---and they point to future directions to make these algorithms useful in even larger-scale machine learning applications.

研究の動機と目的

• 実際の機械学習およびデータ解析の設定において、SPSD行列の低ランク近似に用いられるランダム化サンプリングおよび射影法の性能と実行時間を実験的に評価すること。
• スペクトル、Frobenius、トレースノルム誤差の観点から、データに依存しないランダム射影とデータに依存するLeviageスコアサンプリングの補完的強みを特定し、説明すること。
• 既存の理論的境界の限界を是正し、サンプリングおよび射影法の両方に適用可能な、質的に優れた新しい最悪ケース誤差境界を導出すること。
• 特にLeviageスコアとスペクトルの減衰の観点から、入力行列の構造的性質が近似品質に与える影響を明らかにし、アルゴリズム選択を支援すること。
• 高速なLeviageスコア近似および高速な射影技術を用いて最適化された場合、高品質なサンプリングおよび射影アルゴリズムが同等の実行時間を達成できることを示すこと。

提案手法

• 機械学習およびデータ解析の応用から得た、密度行列およびスパースなSPSD行列の多様なセットに対して、サンプリングおよび射影法を実験的に評価する。
• Leviageスコアに基づくランダムサンプリングと一様サンプリング、および構造的ランダム行列によるランダム射影を用いる。
• 統計的Leviageスコアを近似する高速アルゴリズムと、計算上のボトルネックを軽減する高速ランダム射影の実装を適用する。
• 任意のスケッチ行列がSPSD行列に適用された場合の決定的構造的境界を導出し、Leviageスコアと部分空間構造の役割を強調する。
• 両方の方法について、高い確率での最悪ケース誤差境界を確立し、既存の加法的誤差および相対誤差境界を上回る。
• アルゴリズムのランダム性と行列の構造的性質を分離する理論的枠組みを導入し、特定の入力に対して近似品質を認証可能にする。

実験結果

リサーチクエスチョン

• RQ1 実世界のSPSD行列において、データに依存するLeviageスコアベースのサンプリングとデータに依存しないランダム射影は、スペクトル、Frobenius、トレースノルム誤差の観点からどのように比較されるか？
• RQ2 実行時間と近似品質の観点から、一様サンプリング、Leviageスコアサンプリング、ランダム射影の間の計算的トレードオフは何か？
• RQ3 なぜ実験的結果は、既存の最悪ケース理論的境界の予測をしばしば上回るのか？このギャップを説明する行列の構造的性質は何か？
• RQ4 決定的構造的性質（特にLeviageスコアとスペクトルの減衰）を用いて、確率的境界に依存せずに高品質な低ランク近似を認証できるか？
• RQ5 Leviageスコアサンプリングがランダム射影を上回る、および逆にランダム射影がLeviageスコアサンプリングを上回る条件は、SPSD行列の上位k固有空間近似においてどのようなものか？

主な発見

• Leviageスコアベースのサンプリングとランダム射影は補完的性能を示す：サンプリングは少ないサンプル数で上位k固有空間をより良く捉えるが、射影は多様な行列構造に対して高いロバストネスを示す。
• 高速なLeviageスコア近似および構造的ランダム射影を用いて高速化された場合、高品質なサンプリングおよび射影アルゴリズムは同等の実行時間を達成できる。
• 両方の方法の理論的境界は、スペクトルおよびFrobeniusノルムにおいて改善された加法的誤差制御と、トレースノルムにおいて相対誤差境界を示し、質的に先行研究を上回る。
• わずかO(k)の測定値でも、両方の方法がすべてのノルムで最適なランクk近似の約3倍以内の誤差を達成する。
• 低ランク法でうまく近似できない行列（例：高コherenceを持つ行列）は、一様サンプリングが最も著しく失敗する傾向にあり、行列構造の役割が顕著に現れる。
• 理論的分析により、構造的非一様性（特にLeviageスコア）が近似品質を決定づけることが判明し、これによりより良い決定的またはグリーディなサンプリングヒューリスティクスの設計が可能になる。