[論文レビュー] But How Does It Work in Theory? Linear SVM with Random Features

Yitong Sun, Anna C. Gilbert+1 more|arXiv (Cornell University)|Sep 12, 2018

Face and Expression Recognition被引用数 35

ひとこと要約

本稿は、低ノイズ条件下における最適化された特徴マップを用いたランダム特徴サポートベクターマシン（RFSVM）の理論的高速収束速度を初めて確立した。RFSVMが、核関数のスペクトルが多項式的である場合にのみ $ ilde{O}(m^{2/(2+c_2)})$ 個の特徴で $O(1/\sqrt{m})$ より速い収束速度 $ ilde{O}(m^{-c_2/(1+c_2)})$ を達成できることを証明した。また、核スペクトルが指数的より速く減衰する場合、$ ilde{O}( ext{ln}^d m)$ 個の特徴で十分であり、この結果は手法の計算的効率性を裏付ける。

ABSTRACT

We prove that, under low noise assumptions, the support vector machine with $N\ll m$ random features (RFSVM) can achieve the learning rate faster than $O(1/\sqrt{m})$ on a training set with $m$ samples when an optimized feature map is used. Our work extends the previous fast rate analysis of random features method from least square loss to 0-1 loss. We also show that the reweighted feature selection method, which approximates the optimized feature map, helps improve the performance of RFSVM in experiments on a synthetic data set.

研究の動機と目的

• RFSVMの一般化性能、特に収束速度に関する理論的ギャップを埋めること。これまでの上限は $O(1/\sqrt{m})$ にとどまっていた。
• 分類問題における最小二乗法から0-1損失への高速レート分析を拡張し、特に低ノイズ条件下での有効性を検証すること。
• 最適化された特徴マップを用いることで、収束が高速になるための特徴数がサンプル数に比べて著しく少ないことを示し、RFSVMの計算的利点を正当化すること。
• 一様サンプリングとは異なり、重み付けされた特徴選択が実用的改善をもたらすという理論的根拠を提供すること。

提案手法

• 0-1損失のサロゲート関数を用いた正則化された経験的リスク最小化の枠組みで理論的分析を実施した。
• 核関数の近似誤差を最小化する最適化された特徴マップ（仮定2）を仮定した。
• マッサールの低ノイズ条件と核の固有値の多項式的減衰（$\lambda_i = O(i^{-c_2})$）を用いて高速収束レートを導出。
• 集中不等式とランダム特徴のリッジスコアのバインドを用いて、余剰リスクを制御。
• 最適化された特徴マップを近似するための重み付け特徴選択法を提案し、実用的な一般化性能の向上を実現。
• 被覆数、ラデマッハ複雑度、スペクトル減衰仮定を組み合わせて理論的バインドを導出。

実験結果

リサーチクエスチョン

• RQ1 低ノイズ条件下でRFSVMは $O(1/\sqrt{m})$ より速い収束速度を達成できるか？
• RQ2 最適化された特徴マップを用いる場合、RFSVMが高速レートを達成するために必要な最小特徴数は何か？
• RQ3 核演算子のスペクトル減衰がRFSVMの一般化誤差に与える影響は何か？
• RQ4 一様サンプリングと比較して、重み付けされた特徴選択はRFSVMの性能を向上させられるか？
• RQ5 ベイズ分類器がRKHSに属さない場合でも、理論的高速レートは成立するか？

主な発見

• マッサールの低ノイズ条件と多項式的スペクトル減衰 $\lambda_i = O(i^{-c_2})$ の下で、最適化された特徴を用いたRFSVMは、$\tilde{O}(m^{-c_2/(1+c_2)})$ の収束速度を達成し、$\tilde{O}(m^{2/(2+c_2)})$ 個の特徴で十分である。
• 指数的減衰より速いスペクトル減衰の下では、収束速度は $ ilde{O}(1/m)$ に改善され、$ ilde{O}(\text{ln}^d m)$ 個の特徴で十分である。
• ベイズ分類器が分離条件（クラス間の正の距離）を満たす場合、最適化された特徴を用いたRFSVMは $ ilde{O}(1/m)$ のレートを達成し、$ ilde{O}(\text{ln}^{2d} m)$ 個の特徴で十分である。
• 理論的分析から、トレーニング前に特徴に重みを付けることで性能向上が期待できることを示し、合成データ上で実証的に検証した。
• 最適化された特徴がなければ、達成可能な最良のレートは $O(m^{-1/3})$ であり、$ ilde{O}(m^{2/3})$ 個の特徴で達成可能であり、高速レート領域とのギャップを示している。
• 結果は、特に特徴の重み付けを組み合わせた場合に、RFSVMの実用的計算効率性を裏付けるものである。