[論文レビュー] Near Input Sparsity Time Kernel Embeddings via Adaptive Sampling

David P. Woodruff, Amir Zandieh|arXiv (Cornell University)|Jul 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 20被引用数 4

ひとこと要約

本稿では、多項式およびガウスカーネルのカーネル埋め込みに対して、入力スパarsityに近い時間で実現可能な適応的サンプリングアルゴリズムを提案する。重要度サンプリングを用いて特徴空間をサブサンプリングし、証明可能なスペクトル近似保証を達成する。従来の無作為スケッチングと比較して、実行時間を $ q^{5/2}/\epsilon^2 $ 倍短縮でき、入力スパarsityに線形依存し、$ O(s_\lambda / \epsilon^2 \log n $ のターゲット次元を実現する。大規模な回帰タスクにおいて優れた実験的性能を示す。

ABSTRACT

To accelerate kernel methods, we propose a near input sparsity time algorithm for sampling the high-dimensional feature space implicitly defined by a kernel transformation. Our main contribution is an importance sampling method for subsampling the feature space of a degree $q$ tensoring of data points in almost input sparsity time, improving the recent oblivious sketching method of (Ahle et al., 2020) by a factor of $q^{5/2}/ε^2$. This leads to a subspace embedding for the polynomial kernel, as well as the Gaussian kernel, with a target dimension that is only linearly dependent on the statistical dimension of the kernel and in time which is only linearly dependent on the sparsity of the input dataset. We show how our subspace embedding bounds imply new statistical guarantees for kernel ridge regression. Furthermore, we empirically show that in large-scale regression tasks, our algorithm outperforms state-of-the-art kernel approximation methods.

研究の動機と目的

• カーネル行列の計算に起因する $ O(n^2) $ のメモリと時間の要件により生じるカーネル法の拡張性のボトル neck を解決すること。
• 入力スパarsity $ \text{nnz}(X) $ にほぼ線形な実行時間で、多項式およびガウスカーネルの部分空間埋め込みを設計すること。
• 統計次元 $ s_\lambda $ を用いて、高確率でスペクトル近似が達成されるターゲット次元 $ s = O(s_\lambda / \epsilon^2 \log n) $ を達成すること。
• 多項式カーネルにおいて、従来の無作為スケッチング手法と比較して、実行時間を $ q^{5/2}/\epsilon^2 $ 倍短縮すること。
• 提案された埋め込みフレームワークを用いて、カーネルリッジ回帰の新たな統計的保証を提供すること。

提案手法

• 入力データポイントの次数 $ q $ のテンソル積の特徴空間をサブサンプリングするための適応的インポートランスサンプリング手法を提案する。
• 持ち上げられた特徴行列の各行のノルムに基づく再帰的サンプリングを用い、情報量の多い特徴を優先することで、分散を低減し、近似品質を向上させる。
• ドット積カーネルのテイラー展開に適用し、展開が指数的に減少する場合（例：逆多項式カーネル）に有効である。
• スペクトル近似の境界を導出する。$ Z^\top Z $ がカーネル行列 $ K $ に対して $ (\epsilon, \lambda) $-スペクトル近似であることを保証し、$ \| (K + \lambda I)^{-1/2} (Z^\top Z + \lambda I) (K + \lambda I)^{-1/2} - I \| \leq \epsilon $ を満たす。
• 複数ラウンドにわたり、最小限のオーバーヘッドで精度を向上させるために、適応的サンプリング確率を再帰的に精緻化するプロシージャ（アルゴリズム1）を採用する。
• ガウスカーネルへは、カーネルを切り捨てたテイラー級数で近似し、得られた多項式項に同じサンプリング戦略を適用することで拡張する。

実験結果

リサーチクエスチョン

• RQ1 多項式およびガウスカーネルの部分空間埋め込みを、入力スパarsityに近い時間で達成できるか。ターゲット次元が統計次元 $ s_\lambda $ に線形に依存するか。
• RQ2 多項式カーネルにおいて、従来の無作為スケッチング手法と比較して、実行時間を $ q^{5/2}/\epsilon^2 $ 倍短縮できるか。
• RQ3 大規模な回帰タスクにおいて、適応的インポートランスサンプリングが、一様または無作為サンプリングと比較して、より優れた近似品質とより小さいターゲット次元を達成できるか。
• RQ4 テイラー展開が指数的に減少する他のドット積カーネルへも、本手法を一般化できるか。
• RQ5 提案された埋め込みを用いた場合、カーネルリッジ回帰における統計的およびアルゴリズム的保証は何か。

主な発見

• 提案された適応的サンプリングアルゴリズムは、$ O(\text{poly}(\epsilon^{-1}, q, \log n) \cdot s_\lambda^2 n + q^{5/2} \log^4 n \cdot \text{nnz}(X)) $ 時間で実行され、入力スパarsityに近い性能を達成する。
• 多項式カーネルにおいて、同じターゲット次元 $ O(s_\lambda / \epsilon^2 \log n) $ を維持しつつ、従来の無作為スケッチング手法と比較して、実行時間を $ q^{5/2}/\epsilon^2 $ 倍短縮する。
• ガウスカーネル埋め込みは、カーネルのテイラー展開を次数 $ O(\log n) $ で切り捨てることで達成され、多項式手法の適用が可能になる。
• 実験的に、完全な適応的アルゴリズム（Adaptive）は、すべてのデータセットで最小のテストRMSEを達成し、競合手法と比較して顕著に小さいターゲット次元 $ s $ を実現する。
• ロウノルムバージョン（1ラウンドサンプリング）は、フーリエ特徴量と同等の速度で、Nystrom や無作為スケッチングよりも高速であり、RMSE は同等または優れている。
• 本手法は、$ Z^\top Z $ が $ K $ に対して $ (\epsilon, \lambda) $-スペクトル近似であることを保証することで、カーネルリッジ回帰の新たな統計的保証を提供する。これは、回帰解の誤差バウンドを示唆する。