[論文レビュー] A Novel Orthogonal Direction Mesh Adaptive Direct Search Approach for SVM Hyperparameter Tuning

Alexandre Reeberg de Mello, Jonathan de Matos+3 more|arXiv (Cornell University)|Apr 26, 2019

Metaheuristic Optimization Algorithms Research参考文献 32被引用数 5

ひとこと要約

本稿では、ガウスカーネルを用いたSVMにおけるハイパーパramータチューニングを目的とした、直交方向を用いた決定的メッシュ適応直接探索アルゴリズムであるOrtho-MADSを提案する。収束保証がなされ、メッシュサイズに基づく動的停止基準を用い、Nelder-Meadおよび変数近傍探索戦略を組み合わせることで、ベンチマークデータセット全体において、既存手法よりも精度および収束速度の面で優れた性能を発揮する。

ABSTRACT

In this paper, we propose the use of a black-box optimization method called deterministic Mesh Adaptive Direct Search (MADS) algorithm with orthogonal directions (Ortho-MADS) for the selection of hyperparameters of Support Vector Machines with a Gaussian kernel. Different from most of the methods in the literature that exploit the properties of the data or attempt to minimize the accuracy of a validation dataset over the first quadrant of (C, gamma), the Ortho-MADS provides convergence proof. We present the MADS, followed by the Ortho-MADS, the dynamic stopping criterion defined by the MADS mesh size and two different search strategies (Nelder-Mead and Variable Neighborhood Search) that contribute to a competitive convergence rate as well as a mechanism to escape from undesired local minima. We have investigated the practical selection of hyperparameters for the Support Vector Machine with a Gaussian kernel, i.e., properly choose the hyperparameters gamma (bandwidth) and C (trade-off) on several benchmark datasets. The experimental results have shown that the proposed approach for hyperparameter tuning consistently finds comparable or better solutions, when using a common configuration, than other methods. We have also evaluated the accuracy and the number of function evaluations of the Ortho-MADS with the Nelder-Mead search strategy and the Variable Neighborhood Search strategy using the mesh size as a stopping criterion, and we have achieved accuracy that no other method for hyperparameters optimization could reach.

研究の動機と目的

• SVMにおける既存のブラックボックスハイパーパramータ最適化手法に収束保証が欠けているという問題に対処すること。
• 決定的メッシュ適応探索を活用することで、ガウスカーネルを用いたSVMのハイパーパramータ選択の効率性とロバスト性を向上させること。
• メッシュサイズに基づく動的停止基準を導入し、計算コストと解の品質のバランスをとること。
• Nelder-Meadおよび変数近傍探索戦略を統合することで、局所探索能力を強化し、悪くない局所最適解からの脱出を可能とすること。

提案手法

• SVMハイパーパramータの勾配なし最適化の基盤として、メッシュ適応直接探索（MADS）フレームワークを採用する。
• 探索段階に直交方向を導入することで、探索効率および収束特性を向上させる。
• メッシュサイズに基づく動的停止基準を採用し、勾配情報が不要な状態で収束を保証する。
• 局所探索の強化と早期収束の回避を目的として、Nelder-Meadおよび変数近傍探索の2つの探索戦略を統合する。
• RBF-SVMにおける2つの主要なハイパーパramータ、C（正則化パramータ）およびgamma（カーネルバンド幅）のチューニングに本アルゴリズムを適用する。
• データ固有の仮定や象限制約に依存しない、バリデーション精度に基づく目的関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 直交方向を用いた決定的メッシュ適応直接探索は、既存のヒューリスティック手法と比較して、SVMハイパーパramータチューニングにおいてより優れた収束性と解の品質を達成できるか？
• RQ2 メッシュサイズに基づく動的メッシュサイズ停止基準は、精度と計算コストのトレードオフにどのように影響するか？
• RQ3 Nelder-Meadおよび変数近傍探索戦略は、収束速度の向上および局所最適解からの脱出にどの程度寄与するか？
• RQ4 Ortho-MADSは、多様なベンチマークデータセットにおいて、他の最先端ハイパーパramータ最適化手法を一貫して上回るか？

主な発見

• Ortho-MADSは、複数のベンチマークデータセットにおいて、他のハイパーパramータ最適化手法よりも高い分類精度を達成した。
• 同じ設定下で、他の手法の解と同等またはそれ以上の解を一貫して得られた。
• Nelder-Meadおよび変数近傍探索戦略の組み合わせにより、収束速度およびロバスト性が顕著に向上した。
• メッシュサイズに基づく動的停止基準は、計算効率と解の品質のバランスを効果的にとれた。
• 収束の証明が示され、文献に登場する多くのヒューリスティックベースの手法とは対照的に、大きな利点を有する。
• 本手法は、研究で報告された他のハイパーパramータ最適化手法が到達できなかった精度水準に到達した。