[論文レビュー] Fast Prediction with SVM Models Containing RBF Kernels

Marc Claesen, Frank De Smet+2 more|arXiv (Cornell University)|Mar 4, 2014

Model Reduction and Neural Networks参考文献 39被引用数 21

ひとこと要約

この論文は、SVMモデルにおけるRBFカーネル評価の2次マクローリン級数近似を提案し、予測の計算量をサポートベクターの数ではなく入力次元数に比例する二次的スケーリングにすることで、予測の高速化を実現する。入力次元数がサポートベクターの数に比べて小さい場合、著しく高速化され、最大290倍のモデル圧縮が達成される。また、誤差は有界であり、データの難読化も可能となる。

ABSTRACT

We present an approximation scheme for support vector machine models that use an RBF kernel. A second-order Maclaurin series approximation is used for exponentials of inner products between support vectors and test instances. The approximation is applicable to all kernel methods featuring sums of kernel evaluations and makes no assumptions regarding data normalization. The prediction speed of approximated models no longer relates to the amount of support vectors but is quadratic in terms of the number of input dimensions. If the number of input dimensions is small compared to the amount of support vectors, the approximated model is significantly faster in prediction and has a smaller memory footprint. An optimized C++ implementation was made to assess the gain in prediction speed in a set of practical tests. We additionally provide a method to verify the approximation accuracy, prior to training models or during run-time, to ensure the loss in accuracy remains acceptable and within known bounds.

研究の動機と目的

• 予測時間の短縮を図ること。RBFカーネルSVMの予測時間はサポートベクターの数に比例して線形に増加し、リアルタイムや高スループット応用においては計算が非現実的になる。
• 予測速度をサポートベクターの数から分離する近似手法の開発。入力次元数が低い場合にモデルを高速化可能となるようにする。
• 近似の正確性が事前にまたはデプロイ中にも保証される、保守的で検証可能な誤差バウンダリーの提供。
• プライバシーに配慮する分野（例：生物医学研究）に適した、小型かつデータ難読化可能なモデルの実現。

提案手法

• 指数関数の2次マクローリン級数展開を用いて、RBFカーネル関数 $ \kappa(\mathbf{x}_i, \mathbf{x}_j) = e^{-\gamma \|\mathbf{x}_i - \mathbf{x}_j\|^2} $ を近似する。
• 正確なカーネル評価を入力特徴量に関する2次形式に置き換え、密度行列 $ \mathbf{v} $ と対称行列 $ \mathbf{M} $ に依存する決定関数を得る。
• 指数関数の指数部分 $ x $ に対して $ |x| < 0.5 $ の条件を用いて、近似の相対誤差のバウンダリーを導出。これにより、相対誤差が $ \leq 3.05\% $ 以内に保証される。
• 近似モデルをスカラ3つ（$ b, c, \gamma $）、ベクトル $ \mathbf{v} \in \mathbb{R}^d $、行列 $ \mathbf{M} \in \mathbb{R}^{d \times d} $ として保存し、メモリ使用量を削減。
• リプレーサー定理に依存するすべてのカーネル法（SVM、ガウス過程、カーネルPCA、カーネル判別分析など）にこの近似を適用可能である。
• 複数のデータセットで速度、正確性、圧縮率の実証的検証のため、最適化されたC++実装を実施。

実験結果

リサーチクエスチョン

• RQ1 RBFカーネルの2次マクローリン近似は、モデルの正確性を損なわせることなく、予測時間を著しく短縮できるか？
• RQ2 この近似は多様なデータセットで誤差が有界に保たれるか？ また、事前または実行時におけるこのバウンダリーの検証は可能か？
• RQ3 入力次元数がサポートベクター数に比べて小さい場合、近似されたRBF-SVMのモデルサイズは正確なモデルと比べてどの程度小さくなるか？
• RQ4 この近似は、元の学習データをどの程度難読化できるか？ これにより、プライバシーに配慮する応用分野での利用が可能になるか？

主な発見

• 近似モデルは、sensitデータセットで最大290倍の圧縮比を達成し、モデルサイズを32 MBから113 KBに削減した。
• 予測速度は入力次元数 $ d $ に対して二次的にスケーリングされる。サポートベクター数 $ n_{\text{SV}} $ に依存しない。したがって、$ d \ll n_{\text{SV}} $ の場合に顕著な高速化が達成される。
• RBFカーネルの指数部分が $ |x| < 0.5 $ の範囲に制限されると、相対誤差が3.05%未満に保たれ、検証可能な誤差バウンダリーが得られる。
• テストしたデータセットのほとんどすべてで、近似モデルは正確なモデルよりも著しく小さく、特に高 $ n_{\text{SV}} $、低 $ d $ のデータセットで最大の圧縮効果が得られた。
• サポートベクターが複雑な組み合わせに置き換えられるため、元の学習インスタンスの逆設計が極めて困難になる。
• 入力次元数 $ d $ が小さい場合、ニューラルネットワークベースの近似手法に比べ、計算コストが線形で、誤差バウンダリーが明確な点で優れている。