[論文レビュー] Geometric Insights into Support Vector Machine Behavior using the KKT Conditions

Iain Carmichael, J. S. Marron|arXiv (Cornell University)|Apr 3, 2017

Face and Expression Recognition被引用数 5

ひとこと要約

この論文は、カルシュ＝クーン＝タッカー（KKT）条件を用いて、サポートベクターマシン（SVM）と2つの古典的線形分類器—平均差分（MD）と最大データピリング（MDP）—の間の幾何的関係を明らかにし、特定のデータ環境下でSVMがこれらの分類器の「切り詰められた」バージョンとして機能することを示している。主な発見として、クラスの不均衡が低く、Cが小さい場合にはSVMの挙動がMDと一致し、高次元で分離可能な設定ではMDPと一致することを示しており、チューニングおよび交差検証の挙動に関する新たな知見を提供している。

ABSTRACT

The support vector machine (SVM) is a powerful and widely used classification algorithm. This paper uses the Karush-Kuhn-Tucker conditions to provide rigorous mathematical proof for new insights into the behavior of SVM. These insights provide perhaps unexpected relationships between SVM and two other linear classifiers: the mean difference and the maximal data piling direction. For example, we show that in many cases SVM can be viewed as a cropped version of these classifiers. By carefully exploring these connections we show how SVM tuning behavior is affected by characteristics including: balanced vs. unbalanced classes, low vs. high dimension, separable vs. non-separable data. These results provide further insights into tuning SVM via cross-validation by explaining observed pathological behavior and motivating improved cross-validation methodology. Finally, we also provide new results on the geometry of complete data piling directions in high dimensional space.

研究の動機と目的

• 実際の応用で観察される驚きの病理的SVM挙動（特に不均衡データにおける多数クラスへの過学習）を説明すること。
• SVMと2つの古典的線形分類器（平均差分（MD）と最大データピリング（MDP））との間の厳密な幾何的関係を確立すること。
• SVMチューニング（特にCパラメータ）が、クラスのバランス、次元数、分離可能性といったデータ特性とどのように相互作用するかを明確にすること。
• 交差検証の誤差曲線の不規則な挙動を幾何学的に説明することで、SVMの交差検証の理解を深め、改善された手法を提案すること。
• 高次元空間における完全なデータピリング方向の構造について、新たな幾何的知見を提供すること。

提案手法

• 著者らは、SVMとMD/MDP分類器の間の正確な幾何的関係を導出するために、カルシュ＝クーン＝タッカー（KKT）条件を適用している。
• 凸方向（C）と完全なデータピリング方向（P）の相互作用を通じてSVMの挙動を特徴づけ、その交差C ∩ Pが空でない場合を示している。
• ある方向が同時に凸方向かつ完全なデータピリング方向であるかどうかを特定するための線形計画問題を定式化し、SVMとMDPの一致に対する理論的基準を提供している。
• 理論的分析により、Cが小さい場合、ソフトマージンSVMはクラスがバランスしているとき、MD方向に収束することが判明している。
• 高次元で線形分離可能なデータでは、ハードマージンSVMおよび大CのソフトマージンSVMは、MDP方向の「切り詰められた」バージョンとして機能し、MDP方向はデータ部分空間内での一意な最大データピリング方向である。
• データの幾何構造とチューニングパラメータに応じて、SVMの意思決定境界がMDまたはMDPと等価、あるいはその切断版である条件を導出している。

実験結果

リサーチクエスチョン

• RQ1 SVMが平均差分分類器に縮退する条件は何か？ これはクラスのバランスとCパラメータにどのように依存するか？
• RQ2 高次元で線形分離可能なデータ環境下で、SVMの挙動は最大データピリング方向とどのように関係するか？
• RQ3 交差検証の誤差曲線が特定のデータ環境下で病理的挙動を示すのはなぜか？ これは幾何学的にどのように説明できるか？
• RQ4 高次元空間における完全なデータピリング方向の幾何的構造は何か？ これはSVM最適化とどのように関係するか？
• RQ5 MDおよびMDPとの関係から得られる知見を基に、SVMの切片項を修正することでテスト性能を向上させることは可能か？

主な発見

• Cが小さい値でクラスがバランスしている場合、SVMの意思決定方向は、定理15および定理18で証明されたように、正確に平均差分（MD）方向に収束する。
• 高次元で線形分離可能なデータでは、ハードマージンSVMおよび大CのソフトマージンSVMは、最大データピリング（MDP）方向の「切り詰められた」バージョンとして機能し、MDP方向はデータ部分空間内での一意な最大データピリング方向である。
• 最大データピリング方向は、幾何学的に、すべてのデータポイントへの射影を一定に保ちつつ、クラス平均間の分離を最大化する単位ベクトルとして特徴づけられており、データ部分空間内での直交分解を用いて証明されている。
• 凸方向の集合（C）と完全なデータピリング方向の集合（P）が交差する場合、特定の線形計画問題に解が存在する（定理30）、これによりSVMとMDPの一致に対する理論的基準が得られる。
• 本論文では、交差検証の誤差曲線が訓練誤差やテスト誤差から乖離する原因として、SVMのクラス不均衡およびCのチューニングへの感受性が特定され、特に意思決定境界が多数クラスに引き寄せられる場合に顕著である。
• MDおよびMDPとの関係から得られた知見を基に、切片項を修正する手法を提案し、これにより意思決定境界をデータの幾何的構造により密接に一致させることで、テストセットの性能向上が可能になる。