[論文レビュー] Accumulations of Projections—A Unified Framework for Random Sketches in Kernel Ridge Regression

Yifan Chen, Yun Yang|arXiv (Cornell University)|Mar 18, 2021

Face and Expression Recognition被引用数 2

ひとこと要約

本稿では、m個の再スケーリングされた部分抽出行列を蓄積することで、カーネルリッジ回帰のスケッチに統一的なフレームワークを提案する。この手法は、Nystrom法（m=1）と部分ガウススケッチ（m=∞）を統合する。非一様性が高い状況では部分抽出法よりも精度が向上し、計算コストの高い部分ガウススケッチを高速化することで、最小限の計算オーバーヘッドで効率性と精度の近似最適なトレードオフを達成する。

ABSTRACT

Building a sketch of an n-by-n empirical kernel matrix is a common approach to accelerate the computation of many kernel methods. In this paper, we propose a unified framework of constructing sketching methods in kernel ridge regression (KRR), which views the sketching matrix S as an accumulation of m rescaled sub-sampling matrices with independent columns. Our framework incorporates two commonly used sketching methods, sub-sampling sketches (known as the Nystrom method) and sub-Gaussian sketches, as special cases with m=1 and m=infinity respectively. Under the new framework, we provide a unified error analysis of sketching approximation and show that our accumulation scheme improves the low accuracy of sub-sampling sketches when certain incoherence characteristic is high, and accelerates the more accurate but computationally heavier sub-Gaussian sketches. By optimally choosing the number m of accumulations, we show that a best trade-off between computational efficiency and statistical accuracy can be achieved. In practice, the sketching method can be as efficiently implemented as the sub-sampling sketches, as only minor extra matrix additions are needed. Our empirical evaluations also demonstrate that the proposed method may attain the accuracy close to sub-Gaussian sketches, while is as efficient as sub-sampling-based sketches.

研究の動機と目的

• カーネルリッジ回帰における既存のスケッチ手法を一つの理論的枠組みで統一すること。
• 非一様性が高い状況下で性能に限界がある部分抽出スケッチ（Nystrom）の問題を解決すること。
• 計算コストの高い部分ガウススケッチの処理を高速化しながらも、高い精度を維持すること。
• スケッチ行列の蓄積を制御することで、計算効率と統計的精度の最適なトレードオフを達成すること。

提案手法

• スケッチ行列 S を、独立な列を持つ m 個の再スケーリングされた部分抽出行列の蓄積としてモデル化する。
• 部分抽出スケッチ（Nystrom、m=1）と部分ガウススケッチ（m=∞）を、同じフレームワークの極端なケースとして一般化する。
• 蓄積する部分抽出行列の数 m を調整することで、両極端の間を滑らかに遷移できる。
• 統一されたフレームワークの下で誤差解析を導出し、異なる m 値における近似精度を定量的に評価する。
• 標準的な部分抽出法に追加する行列加算がわずかであるため、効率的な実装が可能である。
• 計算コストと推定誤差の両立を最適化するため、実用的に最適な m を選択する。

実験結果

リサーチクエスチョン

• RQ1 部分抽出法と部分ガウススケッチ手法を、カーネルリッジ回帰における一貫したフレームワークで統合することは可能か？
• RQ2 蓄積パラメータ m がスケッチ近似の精度と効率に与える影響は何か？
• RQ3 非一様性の高い状況下で、提案されたフレームワークは部分抽出スケッチの精度を向上させられるか？
• RQ4 このフレームワークにより、精度を損なわずに部分ガウススケッチの計算をより効率的に行えるか？
• RQ5 計算コストと統計的性能の両立を最適化するための最適な蓄積回数 m は何か？

主な発見

• 提案されたフレームワークにより、m=1 で部分抽出法（Nystrom）、m=∞ で部分ガウススケッチが特殊ケースとして統合される。
• カーネル行列の非一様性特性が高い状況では、部分抽出スケッチの精度が向上する。
• 部分ガウススケッチの計算負荷を軽減することで高速化が可能であり、高い精度を維持する。
• 最適な m の選択により、計算効率と統計的精度の良好なトレードオフが達成される。
• 実験結果から、本手法は部分ガウススケッチに近い精度を達成するが、部分抽出法に類似した効率性を備えている。
• 実装には追加の行列加算がわずかに必要であり、標準的な部分抽出スケッチと同等の効率性を実現する。