[論文レビュー] Randomized sketches for kernels: Fast and optimal non-parametric regression

Yun Yang, Mert Pilancı+1 more|arXiv (Cornell University)|Jan 25, 2015

Sparse and Compressive Sensing Techniques参考文献 26被引用数 18

ひとこと要約

この論文は、ランダムな射影を用いてカーネル行列を低次元部分空間に射影することにより、カーネルリッジ回帰（KRR）を高速化する確率的スケッチ手法を提案する。スケッチ次元を統計的次元 $ d_n $（対数要因を除いて）に比例する $ m $ にすることで、最小最大最適性が保たれ、$ \mathcal{O}(n^3) $ ではなく $ \mathcal{O}(m^3) $ の時間計算量で高速かつ最適な非パラメトリック回帰が可能になることが示された。

ABSTRACT

Kernel ridge regression (KRR) is a standard method for performing non-parametric regression over reproducing kernel Hilbert spaces. Given $n$ samples, the time and space complexity of computing the KRR estimate scale as $\mathcal{O}(n^3)$ and $\mathcal{O}(n^2)$ respectively, and so is prohibitive in many cases. We propose approximations of KRR based on $m$-dimensional randomized sketches of the kernel matrix, and study how small the projection dimension $m$ can be chosen while still preserving minimax optimality of the approximate KRR estimate. For various classes of randomized sketches, including those based on Gaussian and randomized Hadamard matrices, we prove that it suffices to choose the sketch dimension $m$ proportional to the statistical dimension (modulo logarithmic factors). Thus, we obtain fast and minimax optimal approximations to the KRR estimate for non-parametric regression.

研究の動機と目的

• カーネルリッジ回帰（KRR）の高い計算コスト（$ n $ 個のサンプルに対して $ \mathcal{O}(n^3) $ 時間および $ \mathcal{O}(n^2) $ 空間）を軽減すること。
• 計算効率の良いKRRの近似を構築し、統計的最小最大最適性を維持すること。
• 近似KRR推定量が最小最大最適性を保つために必要な最小のスケッチ次元 $ m $ を特定すること。
• ガウス行列やランダム化ハダマード行列を含む、さまざまなスケッチ行列の統計的最適性の保持に関する性能を分析すること。

提案手法

• スケッチ次元 $ m \ll n $ を用いて $ n \times n $ のカーネル行列を近似し、行および列の部分空間を $ m $ 次元部分空間に射影する。
• ガウス行列やランダム化ハダマード変換などの構造的行列を用いたランダム射影行列を用いてスケッチを構築する。
• 時間計算量を $ \mathcal{O}(m^3) $ に削減するため、スケッチされた $ m $ 次元の二次計画問題として近似KRR推定量を定式化する。
• 統計的次元 $ d_n $（カーネル行列の有効ランク）とスケッチ次元 $ m $ の関係を理論的に確立する。
• 濃度不等式および行列チェルノフ束を用いてスケッチ誤差の作用素ノルムを制御し、安定性および最小最大最適性を保証する。
• スケッチ行列にやや弱い条件下で、$ m = \mathcal{O}(d_n \log n) $ が最小最大最適性を達成するのに十分であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 カーネルリッジ回帰において最小最大最適性を保つために必要な最小のスケッチ次元 $ m $ は何か？
• RQ2 ガウス型または構造的行列（例：ランダム化ハダマード行列）に基づく確率的スケッチは、$ m \ll n $ の条件下で最小最大最適な性能を達成できるか？
• RQ3 カーネル行列の統計的次元 $ d_n $ と最適推定に必要なスケッチサイズの関係は何か？
• RQ4 スケッチを用いることで、統計的効率を損なわずにKRRの計算複雑度をどの程度低減できるか？

主な発見

• スケッチ次元 $ m $ は、対数要因を除いて統計的次元 $ d_n $ に比例するように選べ、KRR推定量の最小最大最適性が保たれる。
• ガウス行列およびランダム化ハダマードスケッチ行列の両方において、$ m = \mathcal{O}(d_n \log n) $ の条件下で最小最大最適な予測リスクが達成される。
• 理論的解析により、測度の集中および行列チェルノフ束を用いてスケッチ誤差が高確率で制御されることを確認した。
• 時間計算量は $ \mathcal{O}(n^3) $ から $ \mathcal{O}(m^3) $ に、空間計算量は $ \mathcal{O}(n^2) $ から $ \mathcal{O}(m^2) $ に削減され、大規模応用が可能になる。
• 前処理の計算量は $ \mathcal{O}(n^2 \log m) $ であり、$ t \leq n $ 個のクラスタに分散処理可能で、並列処理が容易である。