[論文レビュー] A Population-based Hybrid Approach to Hyperparameter Optimization for Neural Networks

Marcello Serqueira, Pedro Arcos González+1 more|arXiv (Cornell University)|Nov 22, 2020

Machine Learning and Data Classification被引用数 7

ひとこと要約

本論文では、バイアスドランダムキー遺伝的アルゴリズム（BRKGA）とランダムウォーク戦略を組み合わせることで、ニューラルネットワークのハイパーパrameter空間を効率的に探索するハイブリッドハイパーパrameter最適化手法HBRKGAを提案する。8つのデータセット上で評価された結果、グリッドサーチ、ランダムサーチ、ベイズ最適化、CMA-ESと比較して6つのデータセットで優れたF₁スコアを達成し、そのうち3つで統計的に有意な改善を示した。これは、集団ベースの手法にローカルサーチとしてランダムウォークを統合することの有効性を示している。

ABSTRACT

In recent years, large amounts of data have been generated, and computer power has kept growing. This scenario has led to a resurgence in the interest in artificial neural networks. One of the main challenges in training effective neural network models is finding the right combination of hyperparameters to be used. Indeed, the choice of an adequate approach to search the hyperparameter space directly influences the accuracy of the resulting neural network model. Common approaches for hyperparameter optimization are Grid Search, Random Search, and Bayesian Optimization. There are also population-based methods such as CMA-ES. In this paper, we present HBRKGA, a new population-based approach for hyperparameter optimization. HBRKGA is a hybrid approach that combines the Biased Random Key Genetic Algorithm with a Random Walk technique to search the hyperparameter space efficiently. Several computational experiments on eight different datasets were performed to assess the effectiveness of the proposed approach. Results showed that HBRKGA could find hyperparameter configurations that outperformed (in terms of predictive quality) the baseline methods in six out of eight datasets while showing a reasonable execution time.

研究の動機と目的

• 深層ニューラルネットワークにおける大規模で高次元のハイパーパrameter空間を効率的に探索する課題に対処すること。
• グリッドサーチやランダムサーチといった伝統的なハイパーパrameter最適化手法を、知的な探索戦略を組み込むことで改善すること。
• 進化的アルゴリズムとローカルサーチヒューリスティクスを組み合わせたハイパーパラメータチューニングの有効性を評価すること。
• ランダムウォーク部がハイブリッドアルゴリズムの性能に与える影響を調査すること。
• ベイズ最適化やCMA-ESに対して、競争力があり、効率的なニューラルネットワークのハイパーパラメータチューニングの代替手段を提供すること。

提案手法

• HBRKGAは、ハイパーパラメータ空間内のローカルサーチを強化するために、バイアスドランダムキー遺伝的アルゴリズム（BRKGA）とランダムウォーク技術を組み合わせる。
• 集団内の各個体は、固定回数のステップを持つランダムウォークによって摂動され、隣接する構成を探索する。
• 選択と進化を導くために、バリデーションセットにおけるモデルのパフォーマンス（F₁スコア）に基づくフィットネス関数が使用される。
• 各世代において、集団ベースの選択、交差、突然変異が適用され、より良いハイパーパラメータ設定が進化する。
• 新しい解が生成された後、ランダムウォークが適用され、多様性が向上し、局所的収束性が向上する。
• 公平な比較を保証するため、各実行で固定回数のモデル評価が使用される。

実験結果

リサーチクエスチョン

• RQ1 BRKGAにランダムウォークを統合することで、標準的なBRKGAと比較してハイパーパラメータ最適化のパフォーマンスが向上するか？
• RQ2 グリッドサーチ、ランダムサーチ、ベイズ最適化、CMA-ESと比較して、HBRKGAの予測性能と計算効率はいかがなっているか？
• RQ3 ランダムウォーク部がHBRKGA全体のパフォーマンスに果たす寄与度は何か？
• RQ4 HBRKGAは多様な分類データセットにおいて、F₁スコアに統計的に有意な改善をもたらすことができるか？
• RQ5 HBRKGAは、さまざまなニューラルネットワークアーキテクチャやデータ分布においてスケーラブルで頑健であるか？

主な発見

• HBRKGAは、8つのデータセットのうち6つで、すべてのベースライン手法よりも高い平均F₁スコアを達成した。
• 3つのデータセットにおいて、ウィルコクソン符号順位検定により、他の手法と比較してHBRKGAがF₁スコアで統計的に有意な改善を示した。
• アブレーションスタディの結果、ランダムウォークを搭載したHBRKGA（HBRKGA(3)）は平均F₁スコア0.980 ± 0.00285を達成し、ランダムウォークなしのHBRKGA（0.975 ± 0.00195）を顕著に上回った。
• ランダムウォーク部は、解の数が増加したにもかかわらず、より良い探索と高いパフォーマンスをもたらした。
• HBRKGAは妥当な実行時間を維持し、計算コストの高い手法であるベイズ最適化を上回り、CMA-ESと同等またはそれを上回るパフォーマンスを示した。
• MNIST、Fashion-MNIST、COSMOS、および合成された長方形データを含む多様なデータセットにおいて、HBRKGAは頑健であることが示された。