[論文レビュー] Grid Search, Random Search, Genetic Algorithm: A Big Comparison for NAS

Petro Liashchynskyi, Pavlo B. Liashchynskyi|arXiv (Cornell University)|Dec 12, 2019

Machine Learning and Data Classification参考文献 13被引用数 559

ひとこと要約

本論文は CIFAR-10 におけるニューラルネットワークアーキテクチャ探索（NAS）において、Grid Search、Random Search、Genetic Algorithm を比較し、探索戦略ごとに訓練時間とモデル精度を報告するベンチマークである。

ABSTRACT

In this paper, we compare the three most popular algorithms for hyperparameter optimization (Grid Search, Random Search, and Genetic Algorithm) and attempt to use them for neural architecture search (NAS). We use these algorithms for building a convolutional neural network (search architecture). Experimental results on CIFAR-10 dataset further demonstrate the performance difference between compared algorithms. The comparison results are based on the execution time of the above algorithms and accuracy of the proposed models.

研究の動機と目的

• NAS のための古典的なハイパーパラメータ最適化アルゴリズムを Auto-ML フレームワークの代替として活用する動機づけ。
• CNN アーキテクチャの制約付き探索空間を定義し、異なる最適化戦略を評価する。
• Grid Search、Random Search、Genetic Algorithm の NAS におけるランタイムと精度を評価・比較する。
• 探索空間の規模と時間制約に基づいて、どのアルゴリズムを選ぶべきかに関する実践的な指針を提供する。

提案手法

• 基本的な CNN アーキテクチャを定義し、探査空間を構成する畳み込みセルと全結合セルを追加して拡張する。
• 定義された空間内でアーキテクチャを発見するために、三つの最適化戦略（Grid Search、Random Search、Genetic Algorithm）を適用する。
• 標準的な前処理、He 初期化、Adamax オプティマイザ、L2 正則化、ドロップアウト、BatchNormalization を用いて CIFAR-10 上で候補アーキテクチャを訓練する。
• Nvidia Tesla K80 GPU で固定エポック数にわたって各候補アーキテクチャの性能（精度）と訓練時間を測定する。
• Grid/Search では畳み込みセルと全結合セルの組み合わせを列挙する。Random Search では定義された境界内で構成をサンプルする。GA（遺伝的アルゴリズム）では、畳み込み/全結合のカウントをゲノムとして表現し、集団を進化させる。

実験結果

リサーチクエスチョン

• RQ1 Grid Search、Random Search、Genetic Algorithm のうち、テストされた探索空間内で NAS においてより高い精度を得られるのはどれか？
• RQ2 競合するアーキテクチャへ到達する総訓練時間の観点で、アルゴリズムはどのように比較されるか？
• RQ3 NAS における探索の幅と計算コストのトレードオフは各手法でどのようになるか？

主な発見

• Grid Search は 2 つの畳み込みセルと 2 つの全結合セルの構成で約 83% の精度を達成する最良の精度を示す。
• Random Search は最短の総時間でより高い精度（最高 ~86%）を達成できる場合があり、Grid Search より安定させるにはより多くの実行が必要となる可能性がある。
• Genetic Algorithm も約 86% の精度を長い実行時間（約 4.13 時間）で達成し、Random Search に匹敵する上位モデルを提供する。
• 全体として、Grid Search は大規模な探索空間に対して遅い。一方、Random Search と GA はより速いまたはスケーラブルな選択肢を提供し、GA は非常に大きな空間に対して有利な可能性がある。
• 本研究はアルゴリズムの選択は探索空間の大きさと時間制約に依存すると結論づけ、空間が大きく全探索が非現実的な場合には GA が有益であることが多い。