[論文レビュー] Robustness and Regularization of Support Vector Machines

Huan Xu, Constantine Caramanis+1 more|arXiv (Cornell University)|Mar 25, 2008

Sparse and Compressive Sensing Techniques参考文献 46被引用数 309

ひとこと要約

この論文は、非ボックス型の不確実性集合の下で、正則化されたサポートベクターマシン（SVM）とロバスト最適化の間の正確な同等性を確立し、正則化が敵対的入力摂動に対して inherently ロバストであることを示している。主な貢献は、SVMの一般化性能に対する新たな理論的根拠の提供である：局所的なデータ摂動に対するロバスト性が、正則化されたSVMが良好に一般化する理由を説明しており、VC次元や安定性に関する議論に依存せずに一貫性の証明を可能にしている。

ABSTRACT

We consider regularized support vector machines (SVMs) and show that they are precisely equivalent to a new robust optimization formulation. We show that this equivalence of robust optimization and regularization has implications for both algorithms, and analysis. In terms of algorithms, the equivalence suggests more general SVM-like algorithms for classification that explicitly build in protection to noise, and at the same time control overfitting. On the analysis front, the equivalence of robustness and regularization, provides a robust optimization interpretation for the success of regularized SVMs. We use the this new robustness interpretation of SVMs to give a new proof of consistency of (kernelized) SVMs, thus establishing robustness as the reason regularized SVMs generalize well.

研究の動機と目的

• 非i.i.d.なデータ摂動の下で、SVMにおける正則化とロバスト最適化の間の正式な関係を確立すること。
• 敵対的摂動に対するロバスト性としての枠組みを用いて、正則化されたSVMの一般化性能を新たな理論的根拠で説明すること。
• 特にチャンス制約型およびベイジアンな設定において、従来のロバスト定式化よりもより保守的でない境界を提供するロバスト分類フレームワークの構築。
• i.i.d.学習設定下での標準SVMの一貫性を示すために、局所的摂動に対するロバスト性が十分であることを示すこと。
• 交差検証に依存せずに、ベイジアン解釈を用いて正則化パラメータを原理的かつ的切に選択可能にするための手法の提供。

提案手法

• 各サンプルごとのボックス制約ではなく、サンプル全体にわたる集約ノルムによって制限される敵対的摂動を受けるデータを想定したロバスト最適化問題を定式化する。
• ロバスト最適化問題が標準の正則化SVMと同一の双対最適化問題を導くことにより、同等の正則化SVM定式化を導出する。
• 再生核ヒルベルト空間（RKHS）理論を用いて、RBFカーネルにおける入力空間のロバスト性と特徴空間のロバスト性の関係を明らかにする。
• RBFのようなシフト不変カーネルに対しては、入力空間における摂動サイズcが有界な場合、特徴ベクトルの摂動に対するノルム制約が√(2f(0)−2f(c))に比例することを示す。
• チャンス制約型およびベイジアン分類にロバスト性フレームワークを適用し、よりタイトな境界と原理的で整合性のある正則化パラメータ選択を示す。
• ロバスト性の視点を用いて、VC次元や安定性に基づく議論に依存せずに、カーネル化SVMの一貫性の証明を可能にする。

実験結果

リサーチクエスチョン

• RQ1 非ボックス型の不確実性集合の下で、正則化されたSVMとロバスト最適化定式化との間に正式な同等性が存在するか？
• RQ2 正則化されたSVMの一般化性能は、複雑さの制御という観点ではなく、敵対的入力摂動に対するロバスト性によって説明可能か？
• RQ3 SVMのロバスト性は、チャンス制約型やベイジアン分類器のような確率的定式化とどのように関係するか？
• RQ4 ロバスト性の解釈を用いて、VC次元や安定性の議論に依存せずに、標準SVMの一貫性を証明可能か？
• RQ5 ロバスト定式化を用いることで、交差検証に依存せずに正則化パラメータを原理的かつ的切に選択可能か？

主な発見

• 正則化されたSVMは、摂動が集約ノルムによって制限される非ボックス型の不確実性集合の下で、ロバスト最適化定式化と数学的に同等である。
• 同等性は新たな解釈を提供する：SVMにおける正則化は、敵対的入力摂動に対して inherently ロバストであることを示しており、これが一般化能力の理由を説明する。
• RBFカーネルに対しては、摂動サイズcが有界な入力空間におけるロバスト性が、特徴ベクトルの摂動に対するノルム制約√(2f(0)−2f(c))に相当する。
• ロバスト定式化は、従来のロバスト手法よりもはるかに保守的でない近似をチャンス制約型分類器に与える。
• ロバスト性フレームワークにより、VC次元や安定性に依存せずに、カーネル化SVMの一貫性の証明が可能となり、一般化は局所的摂動に対するロバスト性に基づく。
• ロバスト定式化のベイジアン解釈により、交差検証に依存せずに、データ駆動型かつ原理的な正則化パラメータの選択が可能になる。