[論文レビュー] The Modified Nystrom Method: Theories, Algorithms, and Extension.

Shusen Wang, Luo Luo+1 more|arXiv (Cornell University)|Jun 22, 2014

Tensor decomposition and applications参考文献 10被引用数 6

ひとこと要約

本稿では、計算効率にほぼ同等のままカーネル行列近似精度を著しく向上させる、修正ニストルム法の拡張であるSS-Nyström法を提案する。新しい列選択戦略と洗練された近似アルゴリズムを導入することで、特にカーネル固有値がゆっくり減衰する場合に、誤差境界を顕著に低減し、実世界のデータセットにおいて、標準的および修正ニストルム法を凌駕する。

ABSTRACT

Many kernel methods suffer from high time and space complexities, so they are prohibitive in big-data applications. To tackle the computational challenge, the Nyström method has been extensively used to reduce time and space complexities by sacrificing some accuracy. The Nyström method speedups computation by constructing an approximation of the kernel matrix in question using only a few columns of the matrix. Recently, a variant of the Nyström method called the modified Nyström method has demonstrated significant improvement over the standard Nyström method in approximation accuracy, both theoretically and empirically. In this paper we provide theoretical analysis, efficient algorithms, and a simple but highly accurate extension for the modified Nyström method. First, we prove that the modified Nyström method is exact under certain conditions, and we establish a lower error bound for the modified Nyström method. Second, we develop two efficient algorithms to make the modified Nyström method efficient and practical. We devise a simple column selection algorithm with a provable error bound. With the selected columns at hand, we propose an algorithm that computes the modified Nyström approximation in lower time complexity than the approach in the previous work. Third, the extension which we call the SS-Nyström method has much stronger error bound than the modified Nyström method, especially when the spectrum of the kernel matrix decays slowly. Our proposed SS-Nyström can be computed nearly as efficiently as the modified Nyström method. Finally, experiments on real-world datasets demonstrate that the proposed column selection algorithm is both efficient and accurate and that the SS-Nyström method always leads to much higher kernel approximation accuracy than the standard/modified Nyström method.

研究の動機と目的

• 大規模データ応用におけるカーネル手法の高コストな時間的・空間的計算量を低減すること。
• 従来、精度を犠牲にして効率を追求する傾向にあるニストルム法の近似精度を向上させること。
• 理論的裏付けがあり、計算効率の高い修正ニストルム法の変種を開発し、証明可能な誤差境界を確立すること。
• カーネル行列固有値がゆっくり減衰する場合に特に強い誤差境界を達成する、拡張手法であるSS-Nyströmを提案すること。
• 実世界のデータセットにおいて、提案された列選択および近似アルゴリズムの実用的有効性を示すこと。

提案手法

• 証明可能な誤差境界を備えた新しい列選択アルゴリズムを導入し、カーネル行列の列の高品質なサンプリングを保証する。
• 従来の手法よりも時間計算量が低い、修正ニストルム近似を効率的に計算するアルゴリズムを設計する。
• カーネル行列の低ランク構造を洗練させることで近似精度を向上させる、SS-Nyström法を拡張して提案する。
• 理論的分析により、修正ニストルム法が特定の条件下で正確であり、下界誤差境界を確立する。
• カーネル行列の固有値特性を活用して列選択をガイドし、近似の安定性を向上させる。
• SS-Nyström法は、修正ニストルム法と同等の計算効率を維持しながら、誤差を顕著に低減する。

実験結果

リサーチクエスチョン

• RQ1 修正ニストルム法が正確となる条件は何か？ また、その理論的下界誤差境界は何か？
• RQ2 修正ニストルム法の精度を向上させるために、証明可能な誤差保証を持つ列選択戦略を設計できるか？
• RQ3 修正ニストルム近似の計算複雑度を、精度を損なわず低減できるか？
• RQ4 カーネル行列固有値スペクトルがゆっくり減衰する場合に、提案されたSS-Nyström法は修正ニストルム法よりも顕著に優れた誤差境界を達成するか？
• RQ5 提案されたアルゴリズムは、実世界の大規模データセットにおいて実用的に効率的かつ高精度に動作するか？

主な発見

• 選択された列がカーネル行列の列空間を張る場合、修正ニストルム法は正確であり、理論的下界誤差境界が確立される。
• 提案された列選択アルゴリズムは、高い精度と低い計算コストを両立し、先行手法を上回る証明可能な誤差境界を達成する。
• 修正ニストルム近似を計算するための新アルゴリズムは、従来のアプローチよりも時間計算量を低減する。
• SS-Nyström法は、特にカーネル行列固有値スペクトルがゆっくり減衰する場合に、修正ニストルム法よりも顕著に強い誤差境界を達成する。
• 実世界のデータセットを用いた実験により、SS-Nyström法が、標準的および修正ニストルム法を常に上回るカーネル近似精度を達成することが確認された。
• 提案された列選択および近似パイプラインは、実際の応用においても効率的かつ高精度であり、実データセットにおけるスケーラビリティとロバスト性を示した。