[論文レビュー] Support vector machines and linear regression coincide with very high-dimensional features

Navid Ardeshir, Clayton Sanford+1 more|arXiv (Cornell University)|May 28, 2021

Sparse and Compressive Sensing Techniques参考文献 43被引用数 4

ひとこと要約

この論文は、サポートベクターマシン（SVM）と通常最小二乗法（OLS）回帰が、すべての訓練例がサポートベクターとなるサポートベクターの増殖（SVP）により、高次元設定において同一の解に収束することを確立している。独立したサブガウス型特徴モデルにおけるSVPの次元$d$に対する超線形の下界を証明し、ガウス型特徴において$d = 2n\log n$で明確な段階的転移が発生することを特定している。また、$\ell_1$-SVMは著しく高い次元でのみSVPを示すと予想され、幾何的双対性解析によって裏付けられている。

ABSTRACT

The support vector machine (SVM) and minimum Euclidean norm least squares regression are two fundamentally different approaches to fitting linear models, but they have recently been connected in models for very high-dimensional data through a phenomenon of support vector proliferation, where every training example used to fit an SVM becomes a support vector. In this paper, we explore the generality of this phenomenon and make the following contributions. First, we prove a super-linear lower bound on the dimension (in terms of sample size) required for support vector proliferation in independent feature models, matching the upper bounds from previous works. We further identify a sharp phase transition in Gaussian feature models, bound the width of this transition, and give experimental support for its universality. Finally, we hypothesize that this phase transition occurs only in much higher-dimensional settings in the $\ell_1$ variant of the SVM, and we present a new geometric characterization of the problem that may elucidate this phenomenon for the general $\ell_p$ case.

研究の動機と目的

• 高次元設定におけるSVMとOLSの解が一致する条件を理解すること。
• 独立したサブガウス型特徴モデルにおけるサポートベクターの増殖（SVP）が発生するための次元$d$のタイトな下界を確立すること。
• SVPと非SVPの領域を分かつ明確な段階的転移が存在するか、特にガウス型特徴モデルにおいてその閾値が何かを調査すること。
• $\ell_p$-ノルムSVMへのSVPの一般化を検討し、特に$\ell_1$のケースを対象とし、双対問題の幾何的特徴付けを開発すること。
• SVP現象の普遍性と次元依存性が、さまざまな特徴分布にわたって理論的および実験的に裏付けられることを提供すること。

提案手法

• 独立したサブガウス型特徴モデルにおけるSVPが発生するための次元に要する超線形の下界$d \gtrsim n\log n$を証明し、先行研究の上界と一致する。
• 特徴ベクトルが形成するランダムな凸多面体の幾何を分析し、双対最適化問題を介してSVPを特徴付ける。
• 回転対称性とランダム行列理論を用いて、最適な双対解が正の象限にある確率を評価し、SVPを示唆する。
• 等方的ガウス型特徴において、$d = 2n\log n$で明確な段階的転移が発生することを確立し、その遷移幅を定量的に評価する。
• $\ell_p$-SVM問題の双対問題の幾何的特徴付けを導入し、$\ell_2$ノルムを超えるSVPの分析を可能にする。
• 凸包$\pm \mathbf{A}_{\cdot,i}$の面の数に対する和集合の不等式を用いて、$\ell_1$-SVMにおけるSVPの確率の上界を求めるが、その上界がややきついと認めている。

実験結果

リサーチクエスチョン

• RQ1 独立したサブガウス型特徴モデルにおけるサポートベクターの増殖（SVP）が発生するための最小次元$d$は何か？
• RQ2 SVPの発生に明確な段階的転移が存在するか？ もし存在するならば、ガウス型特徴においてその閾値は何か？
• RQ3 SVP現象は$\ell_p$-ノルムSVMに一般化されるか？ 特に$\ell_1$-SVMでは、著しく高い次元を要するのか？
• RQ4 $\ell_p$-SVMの双対問題の幾何的特徴付けは、SVPが発生する条件を説明できるか？
• RQ5 SVPの段階的転移は、さまざまな特徴分布に普遍的であるか、それともガウス型モデルに特有のものなのか？

主な発見

• 独立したサブガウス型特徴モデルにおけるSVPが発生するための超線形の下界$d \gtrsim n\log n$が証明され、先行研究の上界と一致し、$\log n$のギャップが埋められた。
• 等方的ガウス型特徴において、SVPに明確な段階的転移が$d = 2n\log n$で発生し、その遷移幅が定量的に評価された。
• 実験結果から、段階的転移はガウス型に限らず、広範な分布にわたって普遍的であると考えられる。
• $\ell_1$-SVMでは、SVPが$\ell_2$-SVMと比較してはるかに高い次元でのみ発生すると予想され、予備の実験によって裏付けられている。
• $\ell_1$-SVMにおけるSVPの確率は、$d < Cn$（$C \approx 1.29$の普遍定数）では無視できるほど小さいが、和集合による過大評価のため、この上界はややきついとされる。
• 幾何的双対性フレームワークにより、SVPは双対解が正の象限にあることに相当し、特徴次元が十分に大きくない限り、これはまれであることが明らかになった。