[論文レビュー] oASIS: Adaptive Column Sampling for Kernel Matrix Approximation

Raajen Patel, Thomas Goldstein+3 more|arXiv (Cornell University)|May 19, 2015

Sparse and Compressive Sensing Techniques参考文献 31被引用数 8

ひとこと要約

oASISは、完全なカーネル行列を明示的に計算せずに、情報量の多い列を選択する、低ランクカーネル行列近似のための新しい適応的列サンプリングアルゴリズムである。カーネル関数評価と反復的逆行列更新を活用することで、rステップで正確なランク回復を達成し、O(n)の線形実行時間を持つ。100万点の例を含む大規模データセットにおいて、最先端の手法を凌駆する速度とスケーラビリティを実現する。

ABSTRACT

Kernel matrices (e.g. Gram or similarity matrices) are essential for many state-of-the-art approaches to classification, clustering, and dimensionality reduction. For large datasets, the cost of forming and factoring such kernel matrices becomes intractable. To address this challenge, we introduce a new adaptive sampling algorithm called Accelerated Sequential Incoherence Selection (oASIS) that samples columns without explicitly computing the entire kernel matrix. We provide conditions under which oASIS is guaranteed to exactly recover the kernel matrix with an optimal number of columns selected. Numerical experiments on both synthetic and real-world datasets demonstrate that oASIS achieves performance comparable to state-of-the-art adaptive sampling methods at a fraction of the computational cost. The low runtime complexity of oASIS and its low memory footprint enable the solution of large problems that are simply intractable using other adaptive methods.

研究の動機と目的

• 機械学習応用における大規模カーネル行列の形成および因数分解の計算不能性に対処すること。
• O(n²)の演算と完全なカーネル行列の保存を必要とする従来の適応的サンプリング手法のスケーラビリティ制限を克服すること。
• 全カーネル行列を事前に計算せずに情報量の多い列を選択する手法を開発し、大規模データセットへの応用を可能にすること。
• 最適なステップ数でカーネル行列の正確な低ランク回復を達成するとともに、低メモリおよび実行時間複雑度を維持すること。
• 従来の手法では処理が不可能な、非常に大きなデータセット、特にスパースで高次元のデータに対しても適応的サンプリングの実用的導入を可能にすること。

提案手法

• oASISは、逐次的非一様性に基づくグリーディで適応的な列選択戦略を用い、完全なカーネル行列を形成せずに、残差誤差の減少を最大化する列を選択する。
• 全n×nカーネル行列の保存を回避するため、データ上のカーネル関数評価のみを用いて列選択確率を計算する。
• pseudoinverse計算を必要とするランダムサンプリング手法とは異なり、反復的に逆行列W⁻¹を維持・更新することで、高価なpseudoinverse計算を回避する。
• カーネル行列の対称性を活用し、以前にサンプリングされた列とカーネル評価のみを用いて、情報量の多い列を予測する。
• 密行列のn×n演算を回避することで、1列選択あたりO(n)の時間で動作し、データセットサイズに線形にスケーリング可能である。
• 並列処理とスパース行列構造をサポートし、全n×n行列ではなくℓ×n部分行列のみを保存する。

実験結果

リサーチクエスチョン

• RQ1 完全なカーネル行列を明示的に計算せずに、メモリおよび計算コストを削減しつつ、適応的列サンプリングが可能か？
• RQ2 oASISは、行列のランクrに対して正確にrステップでカーネル行列の低ランク回復を達成するか？
• RQ3 oASISは、データセットサイズに線形にスケーリングしながら、高い近似精度を維持し、一様ランダムおよび既存の適応的サンプリング手法を凌駆するか？
• RQ4 スパースカーネル行列において、oASISは密な残差計算を要する手法と比較してどのように性能を発揮するか？
• RQ5 oASISは、100万点以上のデータポイントを含む任意のサイズのデータセットに対して、効率的に並列化可能で適用可能か？

主な発見

• oASISは、正確にrステップでランクrのカーネル行列を回復し、最適な列選択を保証する。
• Two MoonsおよびAbaloneデータセットにおいて、K-means Nyströmなどの最先端手法と同等の近似精度を達成しているが、はるかに短時間で実行される。
• 100万点のデータセットにおいて、oASISは一様ランダムサンプリングの1%の近似誤差を達成し、大規模スケールでの優れた精度を示している。
• oASIS-P（並列版）は、理論的複雑度がやや高いにもかかわらず、一様ランダムサンプリングの半分以下の時間でℓ列をサンプリングおよび構築している。
• oASISは、ランダムサンプリングで一般的に見られるランク不足のW行列を、反復的逆行列計算により回避し、pseudoinverse計算の必要性を排除している。
• oASISは100万点のデータセットに対しても実行可能であるが、一様ランダムサンプリングはW†の計算にメモリ制限が生じるため、約4,500列を超えると実行不能になる。