[論文レビュー] Randomly pivoted Cholesky: Practical approximation of a kernel matrix with few entry evaluations

Yifan Chen, Ethan N. Epperly+2 more|arXiv (Cornell University)|Jul 13, 2022

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

この論文では、O(kN)回のエントリ評価とO(k²N)の演算で、大規模な正定値半定値カーネル行列の低ランク近似を実行する実用的なアルゴリズムであるRandomly Pivoted Cholesky (RPCholesky)を紹介する。高い確率でほぼ最適な近似誤差を達成し、パrameterチューニングが不要である点を除き、既存の手法よりも高速で、精度とロバスト性に優れている。

ABSTRACT

The randomly pivoted partial Cholesky algorithm (RPCholesky) computes a factorized rank-k approximation of an N x N positive-semidefinite (psd) matrix. RPCholesky requires only (k + 1) N entry evaluations and O(k^2 N) additional arithmetic operations, and it can be implemented with just a few lines of code. The method is particularly useful for approximating a kernel matrix. This paper offers a thorough new investigation of the empirical and theoretical behavior of this fundamental algorithm. For matrix approximation problems that arise in scientific machine learning, experiments show that RPCholesky matches or beats the performance of alternative algorithms. Moreover, RPCholesky provably returns low-rank approximations that are nearly optimal. The simplicity, effectiveness, and robustness of RPCholesky strongly support its use in scientific computing and machine learning applications.

研究の動機と目的

• 大規模な科学的機械学習におけるカーネル法のフルカーネル行列の計算と保存の計算ボトルネックを解消すること。
• 高精度を維持しながらカーネル行列のO(kN)エントリのみを露呈する低ランク近似アルゴリズムを開発すること。
• ロバストで、実装が簡単であり、ユーザーが調整するパrameterが不要な手法を確保すること。
• 最も良い低ランク近似と競合する近似誤差に関する理論的保証を提供すること。
• 実世界の科学的機械学習問題において、速度、精度、信頼性の観点から、既存のアルゴリズムを上回ることを実験的に検証すること。

提案手法

• RPCholeskyは、残差行列の対角成分に基づく確率的ルールを用いて、適応的にピボット列を選択することで、高品質な列サンプリングを実現する。
• 各反復で、以前に選択された列の寄与を差し引いて残差列を計算し、その後ピボット列を正規化する。
• アルゴリズムは残差行列の対角成分の推定値を継続的に維持し、新しい因子列の二乗エントリを差し引いて更新する。
• O(kN)のストレージとO(k²N)の算術演算で、Â = FF* の因数分解された低ランク近似を返す。
• グリーディーまたは固定ピボットルールに起因する悪い選択を回避するため、ランダム化されたピボット選択を活用する。
• 理論的分析では、行列 Bernstein 不等式を用いて、近似誤差のスペクトルノルムとトレースノルムを評価する。

実験結果

リサーチクエスチョン

• RQ1 O(kN)回のエントリ評価とO(k²N)の演算で、高精度を維持しながらカーネル行列の低ランク近似を実現できるアルゴリズムを設計できるか？
• RQ2 RPCholeskyの性能は、他の最先端の行列近似アルゴリズムと比較して、速度、精度、ロバスト性の観点でどのように差をつけるか？
• RQ3 RPCholeskyの低ランク近似におけるスペクトルノルムとトレースノルム誤差に対して、どのような理論的保証を確立できるか？
• RQ4 ランダム化されたピボット選択ルールは、決定的ルールが失敗するような多様なカーネル行列に対しても一貫した性能を発揮するか？
• RQ5 RPCholeskyは、最も良いランク-r近似と同等の近似誤差を達成できるか、ほぼ最適な性能を発揮できるか？

主な発見

• RPCholeskyは、近似品質を制御するパrameter λ に対して、スペクトルノルム誤差の境界が ‖A − Â‖ ≤ λ であることを保証し、近似的に最適性を達成する。
• トレースノルム誤差は (1 + ε/2) · tr(A − [A]_r) で抑えられ、期待誤差が最も良いランク-r近似のわずかな要因内にあることを意味する。
• 実験結果では、科学的機械学習問題において、他のアルゴリズムを上回るか同等の性能を、速度、精度、信頼性の観点で示している。
• この手法は理論的にもロバストである：失敗確率は最大で εη/2 であり、失敗時でもトレース誤差は tr(A) で抑えられる。
• アルゴリズムは (k+1)N 回のエントリ評価と O(k²N) の演算のみを要し、大規模なカーネル行列に対して非常に効率的である。
• 理論的分析により、RPCholeskyが、高い確率でスペクトルノルムおよびトレースノルムの両方において、ほぼ最適な近似を生成することが確認された。