[論文レビュー] On the proliferation of support vectors in high dimensions

Daniel Hsu, Vidya Muthukumar+1 more|arXiv (Cornell University)|Sep 22, 2020

Face and Expression Recognition参考文献 38被引用数 5

ひとこと要約

本稿は、高次元線形分類におけるサポートベクタープロラリアションの決定的条件を確立し、有効な過パラメータ化が共分散行列の有効ランクに関連する閾値を超えると、すべての訓練例が高確率でサポートベクターとなることを示している。さらに、ほぼ一致する逆方向の結果も証明しており、十分な過パラメータ化がない場合、少なくとも1つの例が定数確率でサポートベクターでないことを示している。

ABSTRACT

The support vector machine (SVM) is a well-established classification method whose name refers to the particular training examples, called support vectors, that determine the maximum margin separating hyperplane. The SVM classifier is known to enjoy good generalization properties when the number of support vectors is small compared to the number of training examples. However, recent research has shown that in sufficiently high-dimensional linear classification problems, the SVM can generalize well despite a proliferation of support vectors where all training examples are support vectors. In this paper, we identify new deterministic equivalences for this phenomenon of support vector proliferation, and use them to (1) substantially broaden the conditions under which the phenomenon occurs in high-dimensional settings, and (2) prove a nearly matching converse result.

研究の動機と目的

• 高次元線形分類において、すべての訓練例がサポートベクターとなる決定的条件を特定すること。
• 従来の結果を特定のアンサンブルに限らず、より広範なクラス（例えば、サブガウスィアンおよびハール設計）にまで拡張すること。
• 十分な過パラメータ化がない場合、すべての例がサポートベクターになれないことを示すほぼタイトな逆方向の結果を確立すること。
• 確率的行列理論の道具を用いて、有効過パラメータ化とサポートベクターのプロラリアション現象との間の明確な関係を形式化すること。
• 従来のスパarsity仮定が失敗する過パラメータ化領域におけるSVMの一般化の理論的根拠を提供すること。

提案手法

• データの幾何構造とカーネル行列の構造に基づく、サポートベクターのプロラリアションに関する決定的同値性を導出する。
• ハードマージンSVMの双対定式化を用い、最小マージンに達する訓練例（すなわちサポートベクター）を分析する。
• リーブ・ワン・アウト設定におけるカーネル行列の逆行列を分析するために、ワイシャルト分布およびカイ二乗分布の集中・尾部バウンドを適用する。
• ガウス分布の回転対称性を用いて、逆カーネル行列を含む二次形式の分布を簡略化する。
• 標準正規分布のCDFおよびカイ二乗分布の尾部バウンドを用いて、特定の例がサポートベクターである確率の下界を確立する。
• 有効共分散行列のランクに関する閾値を導入し、これがサポートベクターのプロラリアションが高確率で発生するかどうかを決定する。

実験結果

リサーチクエスチョン

• RQ1 サポートベクターマシンが、すべての訓練例がサポートベクターとなるような、どのような決定的条件下でプロラリアションを示すのか？
• RQ2 高次元設定において、サポートベクターのプロラリアション現象は、データ共分散行列の有効ランクにどのように依存するのか？
• RQ3 十分な過パラメータ化がない場合、すべての例がサポートベクターになれないことを示す、ほぼ一致する逆方向の結果を証明できるか？
• RQ4 結果を等方的またはスパイク共分散モデルに限らず、サブガウスィアンおよびハール分布設計へとどの程度一般化できるか？
• RQ5 特徴量の数、標本サイズ、および完全なサポートベクターのプロラリアション確率との間の正確な関係は何か？

主な発見

• 共分散行列の有効ランクが標本サイズに対して十分に大きい場合、特に $ d - n + 2 $ が十分に大きく、逆カーネル行列のトレースが小さくなるように保証されれば、サポートベクターのプロラリアションは高確率で発生する。
• 特定の例がサポートベクターになる確率は、$ rac{1}{e} imes rac{1}{ ext{定数}} $ で下界付けられており、この下界はカイ二乗分布の尾部確率に依存する。
• 本稿では、$ d o rac{n-1}{d-n+4+2 ilde{d}} $ であるならば、特定の例がサポートベクターである確率がゼロから離れることが証明されており、これはフェーズ遷移を示唆している。
• ほぼ一致する逆方向の結果が確立された：有効過パラメータ化が不十分な場合、少なくとも1つの訓練例が定数確率でサポートベクターでなくなる。
• 結果は、特定のスパイクモデルに限らず、一般のサブガウスィアンおよびハール分布設計に対しても成り立つ。これは、先行研究の範囲を著しく拡大している。
• 分析により、現象は次元 $ d $、標本サイズ $ n $、およびデータの有効ランクの間の相互作用によって支配されていることが明らかになった。特に、重要な閾値は $ d - n + 2 $ である。