[論文レビュー] NSGA-Net: Neural Architecture Search using Multi-Objective Genetic Algorithm

Zhichao Lu, Ian Whalen+5 more|arXiv (Cornell University)|Oct 8, 2018

Machine Learning and Data Classification参考文献 47被引用数 73

ひとこと要約

NSGA-Net は、クロスオーバーとベイジアンネットワークの活用を伴う多目的遺伝的アルゴリズムを用いて、精度と FLOPs のトレードオフを行うニューラルアーキテクチャを探索し、CIFAR-10 で競争力の結果とともに計算量を大幅に抑えた Pareto frontier を得る。

ABSTRACT

This paper introduces NSGA-Net -- an evolutionary approach for neural architecture search (NAS). NSGA-Net is designed with three goals in mind: (1) a procedure considering multiple and conflicting objectives, (2) an efficient procedure balancing exploration and exploitation of the space of potential neural network architectures, and (3) a procedure finding a diverse set of trade-off network architectures achieved in a single run. NSGA-Net is a population-based search algorithm that explores a space of potential neural network architectures in three steps, namely, a population initialization step that is based on prior-knowledge from hand-crafted architectures, an exploration step comprising crossover and mutation of architectures, and finally an exploitation step that utilizes the hidden useful knowledge stored in the entire history of evaluated neural architectures in the form of a Bayesian Network. Experimental results suggest that combining the dual objectives of minimizing an error metric and computational complexity, as measured by FLOPs, allows NSGA-Net to find competitive neural architectures. Moreover, NSGA-Net achieves error rate on the CIFAR-10 dataset on par with other state-of-the-art NAS methods while using orders of magnitude less computational resources. These results are encouraging and shows the promise to further use of EC methods in various deep-learning paradigms.

研究の動機と目的

• 複数の目的を明示的に最適化しつつ、ニューラルアーキテクチャ探索(NAS)を自動化する。
• 予測性能と計算関連制約（FLOPs）とのバランスを取る。
• 繰り返しブロックを超えるアーキテクチャを、フルネットワーク構造を横断して探索する。
• ベイズ学習を通じた履歴を活用して、効率的な探索を導く。

提案手法

• アーキテクチャを、フェーズごとのブロック（フェーズごとの操作数）のビット文字列エンコーディングとして表現する。
• エラーと FLOPs の目的の多様なパレート前線を維持するために NSGA-II を用いる。
• アーキテクチャブロックを組み替えるクロスオーバーと、多様性を導入する突然変異を適用する。
• ベイズネットワークを用いて探索履歴を活用し、有望な子孫をサンプルする（BOA に触発）。
• 二段階の探索: 探索（クロスオーバー/突然変異）と、それに続く活用（BN による誘導的サンプリング）。
• 探索中に検証誤差を評価するため、候補アーキテクチャを SGD とコサインアニーリングで訓練する。

実験結果

リサーチクエスチョン

• RQ1 複数目的EA は、精度と計算コストのバランスを取るニューラルアーキテクチャのパレート前線を見つけ出せるか。
• RQ2 クロスオーバーの組み込みとベイジアンネットワーク活用は、ランダムまたは単一目的法と比べて探索効率と品質を向上させるか。
• RQ3 NSGA-Net により得られたアーキテクチャは、関連データセット（例：CIFAR-100）や設定へどの程度転移可能か。
• RQ4 精度、パラメータ数、計算量の観点で、NSGA-Net は最先端の NAS 手法とどのように比較されるか。
• RQ5 複数の目的を最適化する際に、どのようなアーキテクチャの傾向が明らかになるか。

主な発見

• NSGA-Net は CIFAR-10 で誤差と FLOPs を平衡させるアーキテクチャのパレート前線を発見する。
• 最良発見アーキテクチャは 3.85% のテスト誤差と 3.34M パラメータ、1290 MFLOPs を達成。
• NSGA-Net は競合する NAS 手法よりもはるかに少ない計算量（8 GPU-days）で、競争力のある精度を提供する。
• ベイズネットワークベースの活用段階とクロスオーバーは、ランダム探索や突然変異のみの EA と比べて前線の品質を向上させる。
• CIFAR-10 で見つかったアーキテクチャは CIFAR-100 に合理的に転移し、より少ないパラメータで競争力のある精度を達成。
• アブレーション研究は、クロスオーバーと BN ベースの子孫生成の両方がより良いトレードオフに寄与することを示す。）