[論文レビュー] Fast Polynomial Kernel Classification for Massive Data

Jinshan Zeng, Minrun Wu+2 more|arXiv (Cornell University)|Nov 24, 2019

Sparse and Compressive Sensing Techniques参考文献 54被引用数 8

ひとこと要約

本稿では、多項式カーネルに基づく特徴マッピングとADMMソルバーを用いて計算コストとストレージコストを低減することで、スケーラブルなアルゴリズムであるFast Polynomial Kernel Classification (FPC) を提案する。FPCは最適な学習レートを達成するが、調整パrameterはわずか2つであり、実世界の高次元データにおいて、SVM、Nyström、ランダム特徴量手法よりも効率性と精度で優れている。

ABSTRACT

In the era of big data, it is desired to develop efficient machine learning algorithms to tackle massive data challenges such as storage bottleneck, algorithmic scalability, and interpretability. In this paper, we develop a novel efficient classification algorithm, called fast polynomial kernel classification (FPC), to conquer the scalability and storage challenges. Our main tools are a suitable selected feature mapping based on polynomial kernels and an alternating direction method of multipliers (ADMM) algorithm for a related non-smooth convex optimization problem. Fast learning rates as well as feasibility verifications including the efficiency of an ADMM solver with convergence guarantees and the selection of center points are established to justify theoretical behaviors of FPC. Our theoretical assertions are verified by a series of simulations and real data applications. Numerical results demonstrate that FPC significantly reduces the computational burden and storage memory of existing learning schemes such as support vector machines, Nyström and random feature methods, without sacrificing their generalization abilities much.

研究の動機と目的

• SVMのような従来のカーネル手法を用いた大規模分類におけるスケーラビリティとストレージのボトルネックを解決すること。
• 理論的裏付けがあり、効率的で、強力な一般化性能を維持する大規模データ向けの分類アルゴリズムを開発すること。
• Nyström やランダム特徴量アプローチなどの既存のスケーラブルな手法と比較して、ハイパーパrameter数と計算複雑度を低減すること。
• 標準的な統計的学習の仮定の下で、提案手法の理論的収束性と学習レートの保証を確立すること。
• 多様なデータセットを対象とした広範なシミュレーションと実データ実験を通じて、FPCの実用的優位性を示すこと。

提案手法

• 多項式カーネルに基づく特徴マッピングを用いて、線形分類器が良好に機能する特徴空間を定義し、カーネルパラメータが表現能力を制御する。
• 分類問題を滑らかでない凸最適化問題として定式化することで、マージン制約や正則化パラメータの必要性を排除する。
• 収束保証を備えたADMMを用いて最適化問題を効率的に解く。
• 収束の安定化と加速のために、ADMMフレームワークにパrameter α のプロキシマル項とパラメータ β のペナルティ項を導入する。
• 特徴マッピングのための3つのセンター生成手法を実装し、実験的検証の結果、一様ランダムサンプリングが好ましいと判明した。
• 理論的分析と数値実験を統合し、実現可能性、効率性、一般化性能の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 多項式カーネルに基づく特徴マッピングとADMMを組み合わせることで、大規模データ分類におけるスケーラビリティとストレージの問題を解決できるか？
• RQ2 提案されたFPC手法は、標準的な統計的学習の仮定の下で、SVMと同等の最適な学習レートを達成できるか？
• RQ3 FPCは、カーネル次数、プロキシマルパラメータ α、ペナルティパラメータ β といった主要なハイパーパラメータに対してどれほど感度を示すか？
• RQ4 FPCは、計算効率性と分類精度の両面で、Nyström やランダム特徴量アプローチといった最先端手法を上回ることができるか？
• RQ5 異なるセンター生成戦略がFPCの性能に与える影響は何か？

主な発見

• FPCは、Tsybakovおよび幾何的ノイズ仮定の下で最適な学習レートを達成し、統計的学習理論におけるSVMの理論的性能と一致する。
• SVM、Nyström、ランダム特徴量手法と比較して、計算負荷とストレージ要件を顕著に低減するが、一般化能力を損なわない。
• FPCはプロキシマルパラメータ α の値に強く依存せず、UCIデータセットでは α=1 が平均性能で最良を記録した。
• すべてのテスト済みUCIデータセットにおいて、ペナルティパラメータ β=1 が最適であり、収束性と性能の両面で頑健であることが判明した。
• 一様ランダムサンプリング（スキーム1）によるセンター生成が平均的にわずかに優れており、デフォルト戦略として推奨される。
• 実世界の高次元画像データセットを用いた数値実験により、FPCが既存のスケーラブルな手法を上回る効率性と精度を示した。