[論文レビュー] Hyper-parameter estimation method with particle swarm optimization

Yaru Li, Yulai Zhang|arXiv (Cornell University)|Nov 24, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 22被引用数 7

ひとこと要約

本稿では、粒子群最適化（PSO）をベイジアン最適化（BO）フレームワークに統合することで、獲得関数の効率的最適化を可能にする新規なハイパーパrameter最適化手法PSO-BOを提案する。非凸的で多峰性を持つ獲得関数に対してPSOのグローバルサーチ能力を活用することで、ボストン・ホームズティング、ディジット、XGBoostモデルを含むベンチマークデータセットにおいて、勾配ベースの代替手法（L-BFGS-BおよびTNC）を上回る一般化精度が達成された。

ABSTRACT

Particle swarm optimization (PSO) method cannot be directly used in the problem of hyper-parameter estimation since the mathematical formulation of the mapping from hyper-parameters to loss function or generalization accuracy is unclear. Bayesian optimization (BO) framework is capable of converting the optimization of the hyper-parameters into the optimization of an acquisition function. The acquisition function is non-convex and multi-peak. So the problem can be better solved by the PSO. The proposed method in this paper uses the particle swarm method to optimize the acquisition function in the BO framework to get better hyper-parameters. The performances of proposed method in both of the classification and regression models are evaluated and demonstrated. The results on several benchmark problems are improved.

研究の動機と目的

• 機械学習におけるハイパーパrameter最適化の課題に取り組むこと。これは、ハイパーパrameterからモデル性能へのマッピングが明示的ではなく、計算コストが高いためである。
• グリッドサーチやランダムサーチといった従来の手法の限界を克服すること。これらは非効率的で、グローバル最適化の能力に欠ける。
• 獲得関数の勾配ベース最適化に依存する既存のBOフレームワークの限界を改善すること。これらは計算コストが高く、局所最適解に収束する可能性がある。
• PSOをBOフレームワークに統合することで、獲得関数の最適化を効率的かつ効果的に行う新しいアプローチを開発すること。
• 多様な回帰および分類タスクにおけるモデル一般化精度の観点から、PSO-BOが最先端手法を上回ることを実証的に検証すること。

提案手法

• 本手法は、ハイパーパrameter探索における次回評価点の選定を導く獲得関数の最適化に、粒子群最適化（PSO）をベイジアン最適化（BO）フレームワークに統合する。
• PSOは、非凸的で多峰性を持つ獲得関数に適用され、勾配計算を必要とせずに高品質なハイパーパrameter設定を特定する。
• アルゴリズムはハイパーパramータースペースに粒子の群れを初期化し、各粒子が候補となる設定を表す。その後、個々の最良値（pbi）およびグローバル最良値（gb）を用いて、反復的に位置と速度を更新する。
• 更新式では、慣性重み（ω）、認知的係数（c1）、社会的係数（c2）を用いて探索と活用のバランスを図り、r1およびr2は一様乱数として扱う。
• PSOプロセスはBOループ内に埋め込まれる：各評価後、獲得関数を再評価し、PSOがモデル学習および検証用の新たなハイパーパラメータ候補を生成する。
• 本手法は5分割交差検証を用い、回帰では決定係数（R²）、分類では分類精度を性能指標として評価する。実験ではω = 0.8が最適であると判明した。

実験結果

リサーチクエスチョン

• RQ1 非凸的で多峰性を持つ獲得関数に対して、粒子群最適化（PSO）がベイジアンハイパーパラメータ最適化において効果的に機能するか？
• RQ2 PSO-BOは、多様な機械学習モデルにおいて、L-BFGS-BおよびTNCといった勾配ベース手法を上回るモデル一般化精度を達成するか？
• RQ3 PSOにおける慣性重みωの選択が、BOフレームワーク内でのハイパーパラメータ最適化の性能に与える影響は何か？
• RQ4 PSO-BOは、計算コストを削減しつつ、グリッドサーチやランダムサーチを上回る結果を達成できるか？
• RQ5 PSO-BOは高次元のハイパーパラメータ空間においてもスケーラブルで効果的か？それとも次元の増加に伴い性能が著しく低下するか？

主な発見

• ボストン・ホームズティング回帰データセットでは、ω = 0.8のPSO-BOが平均R² = 0.609を達成し、L-BFGS-B-BO（0.6021）およびTNC-BO（0.6045）を上回った。
• ディジットデータセットにおけるランダムフォレスト分類器では、PSO-BOが最大分類精度0.9471を達成し、L-BFGS-B-BO（0.9449）およびTNC-BO（0.9443）を上回った。
• XGBoost分類タスクでは、PSO-BOが平均精度0.9414を達成し、L-BFGS-B-BO（0.93945）およびTNC-BO（0.9405）を上回り、最大精度は0.947であった。
• 実験結果から、PSO-BO（ω = 0.8）はすべてのベンチマークタスクにおいて一貫して他の手法を上回り、そのロバスト性と有効性が示された。
• PSO-BOフレームワークは、勾配ベース手法に共通する局所最小値の回避に特に優れていた。
• 強力な性能を示したが、高次元空間では収束が遅く、将来的な効率性の向上が求められることが示唆された。