[論文レビュー] Efficient Multi-objective Neural Architecture Search via Lamarckian Evolution

Thomas Elsken, Jan Hendrik Metzen+1 more|arXiv (Cornell University)|Apr 24, 2018

Evolutionary Algorithms and Applications参考文献 46被引用数 66

ひとこと要約

LEMONADE はニューラルアーキテクチャの進化的探索アルゴリズムで、ラマーキアン継承とネットワークモルフィズムを用いて複数の目的（例: 精度とリソース）を同時に最適化し、広い空間を効率的に探索して単一の実行でパレート前線を近似する。

ABSTRACT

Neural Architecture Search aims at automatically finding neural architectures that are competitive with architectures designed by human experts. While recent approaches have achieved state-of-the-art predictive performance for image recognition, they are problematic under resource constraints for two reasons: (1)the neural architectures found are solely optimized for high predictive performance, without penalizing excessive resource consumption, (2) most architecture search methods require vast computational resources. We address the first shortcoming by proposing LEMONADE, an evolutionary algorithm for multi-objective architecture search that allows approximating the entire Pareto-front of architectures under multiple objectives, such as predictive performance and number of parameters, in a single run of the method. We address the second shortcoming by proposing a Lamarckian inheritance mechanism for LEMONADE which generates children networks that are warmstarted with the predictive performance of their trained parents. This is accomplished by using (approximate) network morphism operators for generating children. The combination of these two contributions allows finding models that are on par or even outperform both hand-crafted as well as automatically-designed networks.

研究の動機と目的

• リソース制約（モデルサイズ、FLOPs、推論時間など）下での自動 NAS の必要性を動機づけ、対処する。
• 単一の実行で全てのパレート前線を近似できる多目的進化的手法を開発する。
• 機能を保持するモーフィズムと近似モーフィズムを活用して新しい子個体を暖機スタートさせ、アーキテクチャごとの学習コストを削減する。

提案手法

• ネットワークを変異させる際に機能を保持するモーフィズムを導入する（例: Net2DeeperNet、幅広化、スキップ接続）。
• 蒸留ベースの初期化を用いてアーキテクチャを縮小・圧縮する近似ネットワークモーフィズム（ANMs）を拡張する。
• LEMONADE を提案する。これはコストの低い目的で集団を導き、コストの高い目的で小さく有望なサブセットを評価する二段階サンプリングを用いるラマーキアン進化アルゴリズムである。
• 安価な目的値に対してカーネル密度推定（KDE）を用いて親選択と子の受け入れを目的空間の希少な領域へ偏らせる。
• 複雑なトポロジーとスキップをサポートする空間で動作し、完全アーキテクチャ探索とセルベース探索の両方を可能にする。複数の目的にわたるパレート前線を報告する。

実験結果

リサーチクエスチョン

• RQ1 LEMONADE はニューラルアーキテクチャ探索において複数の目的のパレート前線を効果的に近似できるか。
• RQ2 ネットワークモーフィズムを介したラマーキアン継承機構は、親が学習済み重みを用いて子を暖機スタートさせることで探索を加速するか。
• RQ3 制約のない探索空間と別データセットへの転移（例: CIFAR-10 から ImageNet64x64）での LEMONADE の性能はどうか。
• RQ4 発見されたアーキテクチャは、手作り設計および他の NAS 手法と、さまざまなリソース制約の下でどれくらい競争力があるか。

主な発見

手法	パラメータ	エラー (%)
DPP-Net	0.5M	4.62
LEMONADE	0.5M	4.57
DPP-Net	1.0M	4.78
LEMONADE	1.1M	3.69
NASNet	3.3M	2.65
ENAS	4.6M	2.89
PLNT	5.7M	2.49
LEMONADE	4.7M	3.05
DPP-Net	11.4M	4.36
PLNT	14.3M	2.30
LEMONADE	13.1M	2.58

• LEMONADE は、手作り設計のネットワーク（例: MobileNetV2）や、はるかに多くのリソースで訓練されたモデルと競合するアーキテクチャを発見する。
• 本手法は CIFAR-10 に対して ~5 日間 16 GPU で約300件のパレート前線を見つけ、10k から 10M までの広範なパラメータ数をカバーした。
• NASNet と MobileNetV2 と比較して、LEMONADE は推論時間とリソース使用のトレードオフで有利で、100k 未満のパラメータを持つ非常に効率的なモデルも含む。
• CIFAR-10 および転移設定全体で、LEMONADE のセルは ImageNet64x64 へ転移し、NASNets、WRNs、MobileNets V2 などのベースラインを広範なパラメータ範囲で凌駕する。
• ImageNet のモバイル設定では、LEMONADE が発見したセルが、最新の NAS 手法と比較して、控えめな計算資源（1 GPU で数週間）でも競争力のある top-1/top-5 エラーを達成した。