[論文レビュー] Near-Tight Margin-Based Generalization Bounds for Support Vector Machines

Allan Grønlund, Lior Kamma+1 more|arXiv (Cornell University)|Jun 3, 2020

Face and Expression Recognition参考文献 17被引用数 7

ひとこと要約

本稿は、マージンに基づく近いタイトな一般化境界をサポートベクターマシン（SVM）に対して提示し、古典的なマージンに基づく境界を改善している。新たな上界が、ほぼ一致する下界とほぼ一致しており、マージンの観点からSVMの理論的一般化性能がほぼ決定づけられている。

ABSTRACT

Support Vector Machines (SVMs) are among the most fundamental tools for binary classification. In its simplest formulation, an SVM produces a hyperplane separating two classes of data using the largest possible margin to the data. The focus on maximizing the margin has been well motivated through numerous generalization bounds. In this paper, we revisit and improve the classic generalization bounds in terms of margins. Furthermore, we complement our new generalization bound by a nearly matching lower bound, thus almost settling the generalization performance of SVMs in terms of margins.

研究の動機と目的

• マージン、半径、標本サイズの観点から、SVMの古典的なマージンに基づく一般化境界をタイトに改善すること。
• 新たな上界に、ほぼ一致する下界を補完することで、マージンの観点からSVMの理論的一般化性能がほぼ決定づけられること。
• 既存のマージンに基づく境界がタイトかどうかという長年の問いを、上界とほぼ一致する下界の両方を証明することで解決すること。
• ハードマージンおよびソフトマージンの両方の定式化におけるSVMの一般化誤差を分析し、マージンの大きさとデータ分布の役割に焦点を当てる。

提案手法

• バートレットとショーア＝テイラーの先行研究を改善し、マージン θ、データ半径 R、標本数 m を用いてSVMの一般化誤差に対する新たな上界を導出する。
• 期待マージン誤差をバウンドするための、シンメトリゼーションとレーディンガー複雑度に基づく新しい解析技術を導入する。
• 期待上界が漸近的にタイトであることを示すために、注意深く構築されたデータ分布とラベリング方式を用いて、ほぼ一致する下界を構築する。
• マーカフの不等式とジェンセンの不等式を含む、確率的議論と集中不等式を用いて、確率的標本抽出とラベリングにおける期待誤差をバウンドする。
• ハードマージンおよびソフトマージンSVMを分析し、マージン θ = 1/||w||₂ とマージンの大きさと誤分類ペナルティのトレードオフに焦点を当てる。
• アンソニーとバートレット（2009）の結果を応用し、確率的標本抽出下での誤分類確率を用いて、期待誤差の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 SVMの古典的なマージンに基づく一般化境界を、最適な境界に近づけるように改善できるか？
• RQ2 マージンが一般化誤差を決定づける主要因であるかどうか、そしてその関係をタイトな上界と下界で形式化できるか？
• RQ3 マージン、半径、標本サイズの観点から、SVMの最もタイトな一般化境界は何か？
• RQ4 期待上界が漸近的に最適であることを示すために、ほぼ一致する下界を構築できるか？
• RQ5 最悪のデータ分布において、一般化誤差はマージンの大きさ、データ半径、標本サイズにどのように依存するか？

主な発見

• 本稿は、SVMの一般化誤差に対する新たな上界 O((R/θ)² log²m + log(1/δ))/m を確立し、バートレットとショーア＝テイラーの古典的境界を改善している。
• ほぼ一致する下界が構築され、新たな上界が対数的要因を除いて漸近的にタイトであることが示された。
• 最悪ケースにおいて、一般化誤差が Θ((R/θ)² / m) のスケーリングを示しており、マージンが一般化性能において主要因であることが確認された。
• 誤差が上界と定数倍の差異を除いて一致するような分布とラベリング方式を構築することで、境界がほぼ最適であることが示された。
• 結果は、マージン最大化が一般化のメカニズムとして理論的に正当化されることを確認しており、R、θ、m に対する最良の依存関係にほぼ達している。
• 下界の構築では、k点の対称的分布と、誤分類確率を制御したラベリング方式が用いられ、最悪ケースにおいてより良い境界が得られないことが示された。