[論文レビュー] Radial basis function kernel optimization for Support Vector Machine classifiers

Karl Thurnhofer‐Hemsi, Ezequiel López‐Rubio+2 more|arXiv (Cornell University)|Jul 16, 2020

Face and Expression Recognition参考文献 19被引用数 14

ひとこと要約

本稿では、交互勾配降下法を用いて径間基底関数（RBF）カーネルのハイパーパrameterとSVMの双対重みを同時に最適化するアルゴリズムOKSVMを提案する。初期γ値にかかわらず、合成データおよび実データの両方で標準SVMを上回り、分類精度およびF1スコアが優れており、ロバストで自動化されたハイパーパramータチューニングを実現している。

ABSTRACT

Support Vector Machines (SVMs) are still one of the most popular and precise classifiers. The Radial Basis Function (RBF) kernel has been used in SVMs to separate among classes with considerable success. However, there is an intrinsic dependence on the initial value of the kernel hyperparameter. In this work, we propose OKSVM, an algorithm that automatically learns the RBF kernel hyperparameter and adjusts the SVM weights simultaneously. The proposed optimization technique is based on a gradient descent method. We analyze the performance of our approach with respect to the classical SVM for classification on synthetic and real data. Experimental results show that OKSVM performs better irrespective of the initial values of the RBF hyperparameter.

研究の動機と目的

• SVMの性能が初期RBFカーネルハイパーパramータ（γ）の値に敏感であるという問題を解消すること。
• RBFカーネルパラメータとSVMの双対重みを同時に最適化する自動化手法を開発すること。
• SVMにおけるグリッドサーチや無情報的なハイパーパラメータチューニングの限界を克服すること。
• カーネルおよびモデルパラメータの共同最適化中に安定的かつ信頼性のある収束を確保すること。
• 標準SVMと比較して、多様な合成データおよび実世界のデータセットで優れた性能を示すこと。

提案手法

• RBFカーネルを用いたSVMの双対最適化問題を定式化し、カーネルパラメータγを学習可能なハイパーパラメータとして扱う。
• 2段階の勾配降下ステップを交互に実行する：まずγを固定したもとでラグランジュ乗数（α）を最適化し、次にαを固定したもとでγを最適化する。
• 制御されたステップサイズを用いた勾配降下法を採用し、ハイパーパラメータ更新時の収束性と安定性を確保する。
• γに関する双対ラグランジュ関数の勾配を導出することで、RBFカーネルパラメータのエンドツーエンド最適化を可能にする。
• 特にカーネル行列が悪条件になる場合に発散を防ぐためのセーフティーハーバードを導入する。
• 標準SVMパイプラインに統合し、グリッドサーチや交差検証ループを必要としない自動チューニングを実現する。

実験結果

リサーチクエスチョン

• RQ1 RBFカーネルハイパーパラメータγとSVMの双対重みを同時に最適化することで、標準SVMと比較して分類性能が向上するか？
• RQ2 本手法は、さまざまなデータセットにおけるγの異なる初期値に対し、どれほどロバストか？
• RQ3 γとαのための交互勾配降下法は、安定的かつ収束する最適化をもたらすか？
• RQ4 精度、F1スコア、AUCの観点から、従来のグリッドサーチベースのチューニングを上回るか？
• RQ5 本手法は、実世界の分類応用における自動的かつ信頼性のあるハイパーパラメータチューニングに適しているか？

主な発見

• OKSVMは、初期γ値にかかわらず、すべての合成データセットで標準SVMを上回るF1スコアを達成しており、初期値に強いロバスト性を示している。
• ウィスコンシン乳癌データセットでは、OKSVMの平均F1スコアは0.947であり、γが最適に設定された標準SVMの0.951をわずかに下回るが、これは標準SVMが最適なγ値を用いた場合の結果である。
• バンコウノート認証データセットでは、OKSVMはすべての実行でF1スコアとAUCスコアが完全な1.000を達成したが、標準SVMは最適チューニング時でもF1スコア0.991にとどまる。
• 実データセットにおける5分割交差検証では、OKSVMは乳癌データセット（breast-cancer-wisconsin）を除き、すべてのデータセットで少なくとも1つの指標（F1、AUC、または精度）で標準SVMを上回った。
• ヒートマップの結果から、OKSVMはCとγの広い範囲で高い性能を維持しており、初期ハイパーパラメータ設定にほとんど依存しないことが示された。
• 赤ワインの品質データセットでは、OKSVMが標準SVMよりも一貫して高いAUC（0.785 vs. 0.788）とF1スコア（0.750 vs. 0.749）を達成した。