[論文レビュー] Margins, Kernels and Non-linear Smoothed Perceptrons

Aaditya Ramdas, Javier Peña|arXiv (Cornell University)|May 15, 2015

Stochastic Gradient Optimization Techniques参考文献 12被引用数 5

ひとこと要約

本稿では、再生カーネルヒルバート空間（RKHS）における非線形分類のための加速化された滑らか化カーネルパーセプトロンアルゴリズムを導入し、主問題に対しては収束速度 $\frac{\sqrt{\log n}}{\rho_K}$、主双対アルゴリズムに対しては $\min\left\{\frac{\sqrt{n}}{\epsilon}, \frac{\sqrt{n}}{|\rho_K|}\right\}$ を達成する。ここで $\rho_K$ は正規化マージンを表す。この手法は、カーネル化されたマハラノビスノルムと滑らか化部分勾配法を用いて、パーセプトロンおよびフォン・ノイマンのアルゴリズムを一般化する。

ABSTRACT

We focus on the problem of finding a non-linear classification function that lies in a Reproducing Kernel Hilbert Space (RKHS) both from the primal point of view (finding a perfect separator when one exists) and the dual point of view (giving a certificate of non-existence), with special focus on generalizations of two classical schemes - the Perceptron (primal) and Von-Neumann (dual) algorithms. We cast our problem as one of maximizing the regularized normalized hard-margin ($ρ$) in an RKHS and %use the Representer Theorem to rephrase it in terms of a Mahalanobis dot-product/semi-norm associated with the kernel's (normalized and signed) Gram matrix. We derive an accelerated smoothed algorithm with a convergence rate of $ frac{\sqrt {\log n}}ρ$ given $n$ separable points, which is strikingly similar to the classical kernelized Perceptron algorithm whose rate is $ frac1{ρ^2}$. When no such classifier exists, we prove a version of Gordan's separation theorem for RKHSs, and give a reinterpretation of negative margins. This allows us to give guarantees for a primal-dual algorithm that halts in $\min\{ frac{\sqrt n}{|ρ|}, frac{\sqrt n}ε\}$ iterations with a perfect separator in the RKHS if the primal is feasible or a dual $ε$-certificate of near-infeasibility.

研究の動機と目的

• 再生カーネルヒルバート空間（RKHS）における非線形分類フレームワークを構築し、古典的なパーセプトロンおよびフォン・ノイマンのアルゴリズムを一般化すること。
• RKHSにおける完全分離境界の探索という主問題と、そのような境界が存在しない場合の不可解性の証明という双対問題を扱うこと。
• 従来の $\rho_K^{-2}$ ではなく、正規化マージン $\rho_K$ に依存する収束保証を導出することにより、古典的なカーネル化パーセプトロンのレートを改善すること。
• 滑らか化パーセプトロンおよびフランク＝ウォルフ型手法に関する先行研究を、より高い収束レートを達成するRKHS設定に統合・拡張すること。
• マージンに依存する収束を示す主双対アルゴリズムを設計し、収束時に完全分離境界が得られるか、または $\epsilon$-近似不可解性の証明が得られることを保証すること。

提案手法

• 非線形分類問題を、カーネルのグラム行列によって定義されるマハラノビス半ノルムを用いた正則化付き正規化ハードマージン $\rho_K$ の最大化問題に再定式化する。
• 双対空間における $\ell_2$ 正則化を用いた滑らかさの近似により、ハードマージン損失関数の滑らか化を実現する、滑らか化正規化カーネルパーセプトロン（SNKP）アルゴリズムを導入する。
• 収束を加速するために、滑らかさパラメータ $\delta_t$ を動的に調整する反復的滑らか化スキーム（ISNKPVN）を採用し、$\delta_t = \|q_0\|_G / \gamma^{t+1}$ と定義する。
• 双対問題が可解であることは、主問題が不可解であることと同値であるというRKHSにおけるゴーダンの定理に基づく双対証明を用いて、不可解性を検出する。
• カーネルのグラム行列 $G$ の構造を活用し、ラインサーチ戦略を用いた部分勾配法を双対空間に適用して収束を保証する。
• 双対反復 $q_t$、主反復 $p_t$、マージン $\rho_K$ 間の関係を用いて収束バウンドを導出し、$\|q_t\|_G \leq \|q_0\|_G / \gamma^{t+1}$ を示す。

実験結果

リサーチクエスチョン

• RQ1 古典的なパーセプトロンおよびフォン・ノイマンのアルゴリズムは、正規化マージン $\rho_K$ に依存する収束速度を改善する非線形分類に、RKHSにおいて一般化可能か？
• RQ2 正規化マージン $\rho_K$ に従って、滑らか化カーネルパーセプトロンアルゴリズムの最適収束速度は何か？
• RQ3 マージンに依存する収束を達成する主双対アルゴリズムを設計し、RKHSにおいて完全分離境界を同時に検出可能か、または近似不可解性を証明可能か？
• RQ4 カーネル化されたマハラノビスノルムと滑らか化部分勾配法を用いることで、古典的なカーネル化パーセプトロンと比較して収束にどのような影響を与えるか？
• RQ5 主双対設定において、$n$ および $1/\epsilon$ に対して多項対数的依存性を維持しつつ、収束レートに $1/\rho_K$ 依存性を保つことは可能か？

主な発見

• 滑らか化正規化カーネルパーセプトロン（SNKP）は、$\frac{\sqrt{\log n}}{\rho_K}$ の収束速度を達成し、古典的なカーネル化パーセプトロンの $\frac{1}{\rho_K^2}$ の速度よりも著しく高速である。
• 反復的SNKP-フォン・ノイマン（ISNKPVN）アルゴリズムは、RKHSに完全分離境界が存在する場合、$O\left(\frac{\sqrt{n}}{\rho_K}\log\left(\frac{1}{\rho_K}\right)\right)$ 回の反復で終了する。
• 完全分離境界が存在しない場合、アルゴリズムは $O\left(\min\left\{\frac{\sqrt{n}}{\epsilon}, \frac{\sqrt{n}}{|\rho_K|}\right\} \log\left(\frac{1}{\epsilon}\right)\right)$ 回の反復で $\epsilon$-解を求める。この際、近似不可解性の双対証明が得られる。
• 本稿では、RKHSにおけるゴーダンの定理のバージョンを証明し、双対問題が可解であることと主問題が不可解であることの同値性を確立した。これにより、強力な不可解性検出が可能になる。
• 収束バウンドは入力次元 $d$ に依存せず、$n$、$\rho_K$、$\epsilon$ のみに依存するため、高次元特徴空間へのスケーラビリティが保証される。
• 著者らは、代替の滑らか化関数を用いることで $\sqrt{\log n}$ の $n$ 依存性のさらなる改善が可能であると予想しているが、閉形式解の導出は依然として困難であると述べている。