[論文レビュー] Sharp analysis of low-rank kernel matrix approximations

Francis Bach|arXiv (Cornell University)|Aug 9, 2012

Sparse and Compressive Sensing Techniques参考文献 41被引用数 80

ひとこと要約

この論文は、核リッジ回帰において、核行列の低ランク近似をランダムに選択された列を用いて行う場合、ランク $ p $ が問題の自由度に比例する限り、完全な核行列と同等の予測性能を達成できることを鋭い理論的分析により示している。この手法により、最悪ケースに限らず任意の問題インスタンスにおいて統計的精度を保ちながら、$ O(p^2n) $ の部分二乗時間計算量を達成できる。

ABSTRACT

We consider supervised learning problems within the positive-definite kernel framework, such as kernel ridge regression, kernel logistic regression or the support vector machine. With kernels leading to infinite-dimensional feature spaces, a common practical limiting difficulty is the necessity of computing the kernel matrix, which most frequently leads to algorithms with running time at least quadratic in the number of observations n, i.e., O(n^2). Low-rank approximations of the kernel matrix are often considered as they allow the reduction of running time complexities to O(p^2 n), where p is the rank of the approximation. The practicality of such methods thus depends on the required rank p. In this paper, we show that in the context of kernel ridge regression, for approximations based on a random subset of columns of the original kernel matrix, the rank p may be chosen to be linear in the degrees of freedom associated with the problem, a quantity which is classically used in the statistical analysis of such methods, and is often seen as the implicit number of parameters of non-parametric estimators. This result enables simple algorithms that have sub-quadratic running time complexity, but provably exhibit the same predictive performance than existing algorithms, for any given problem instance, and not only for worst-case situations.

研究の動機と目的

• 低ランク核行列近似が、統計的精度を損なわずに、完全な核法と同等の予測性能を達成できるかどうかを特定すること。
• 核リッジ回帰において、予測同等性を維持するための最小ランク $ p $ を同定すること。
• 自由度のような問題固有の統計的量と計算複雑性を結びつけることで、最悪ケース解析を超えること。
• 任意の特定の問題インスタンスに対して、標準的な核法と厳密に同等であることが保証された、部分二乗時間計算量の実用的アルゴリズムの開発

提案手法

• 論文は、核行列からの列サンプリングを低ランク近似法として分析し、ランダムに $ p $ 列を選択して低ランク近似を構築する。
• 問題の自由度の観点から、低ランク近似の予測誤差に対する理論的バウンドを確立する。
• 主な技術的アプローチは、自由度を介して近似誤差と問題の有効次元性を関連付けることで、自由度を暗黙的なパラメータ数として扱うこと。
• 二段階のアプローチを用いる：まず、ランダムな列サンプリングにより核行列を近似し、次に固定設計最小二乗回帰の文脈で得られる予測誤差を分析する。
• 予測性能に損なわれないよう保証するための必要なランク $ p $ に対するバウンドを導出する。このバウンドは自由度に比例する。
• Sobolev や周期的核などのさまざまな核クラスにこの手法を適用し、漸近的固有値および固有ベクトル解析を用いて理論的主張を検証する。

実験結果

リサーチクエスチョン

• RQ1 核リッジ回帰において、低ランク核行列近似が完全な核行列と同等の予測性能を達成するための最小ランク $ p $ は何か？
• RQ2 核リッジ回帰問題の自由度を、必要な近似ランクを決定する問題依存的代理変数として用いることができるか？
• RQ3 列サンプリングによる低ランク近似法は、最悪ケースに限らず、すべての問題インスタンスにおいて統計的精度を維持できるか？
• RQ4 必要なランク $ p $ は自由度にどのように比例するか？また、これにより予測性能を保持したまま部分二乗時間計算量を達成できるか？
• RQ5 最悪ケースシナリオではなく、特定の問題インスタンスにおける実際の挙動を反映する近似誤差の理論的バウンドを導出できるか？

主な発見

• 低ランク核行列近似に必要なランク $ p $ は、問題の自由度に比例する。自由度は、有効モデル複雑度を表す問題依存的測度である。
• 任意の特定の問題インスタンスにおいて、自由度に比例するランク $ p $ を用いた低ランク近似は、完全な核行列と同等の予測性能を達成する。
• 実行時間の計算量は $ O(p^2n) $ に低減され、これは $ n $ に対して部分二乗時間となる。これにより、スケーラブルな核法が可能になる。
• 分析は最悪ケースや平均ケースのレジームに限らず、すべての問題インスタンスに適用可能であり、インスタンス固有の保証を提供する。
• 明示的な核行列計算を避けるためにランダムな列サンプリングに依存することで、効率的かつ正確な予測が可能になる。
• Sobolev や周期的核などの特定の核クラスに対して理論的バウンドが導出され、近似誤差が自由度および固有値の減衰に適切に比例することが示された。