[論文レビュー] Efficient Multi-objective Neural Architecture Search via Lamarckian Evolution

Thomas Elsken, Jan Hendrik Metzen+1 more|arXiv (Cornell University)|Apr 24, 2018

Evolutionary Algorithms and Applications被引用数 214

ひとこと要約

LEMONADEは、進化的で多目的なニューラルアーキテクチャ探索手法で、ネットワーク形状変換によるラマルキア的継承と近似的ネットワーク形状変換を用いて、精度とリソース制約全体にわたるパレート前線を効率的に近似する。

ABSTRACT

Neural Architecture Search aims at automatically finding neural architectures that are competitive with architectures designed by human experts. While recent approaches have achieved state-of-the-art predictive performance for image recognition, they are problematic under resource constraints for two reasons: (1)the neural architectures found are solely optimized for high predictive performance, without penalizing excessive resource consumption, (2) most architecture search methods require vast computational resources. We address the first shortcoming by proposing LEMONADE, an evolutionary algorithm for multi-objective architecture search that allows approximating the entire Pareto-front of architectures under multiple objectives, such as predictive performance and number of parameters, in a single run of the method. We address the second shortcoming by proposing a Lamarckian inheritance mechanism for LEMONADE which generates children networks that are warmstarted with the predictive performance of their trained parents. This is accomplished by using (approximate) network morphism operators for generating children. The combination of these two contributions allows finding models that are on par or even outperform both hand-crafted as well as automatically-designed networks.

研究の動機と目的

• 複数のリソースと精度の目的の下で自動的なニューラルアーキテクチャ探索を動機づける。
• 単一解ではなくパレート前線を返す進化的フレームワークを提案する。
• 子ネットワークをウォームスタートさせるために、機能を保存する演算子と近似演算子を用いて計算量を削減する。
• 複雑なトポロジーやスキップ接続を含む任意の探索空間の扱いを可能にする。

提案手法

• 学習済み性能を保持する機能保存的な子ネットワークを作成するためにネットワークモーフィズムを用いる（Net2DeeperNet、Net2WiderNetの概念）。
• パフォーマンスを知識蒸留によって保持しつつネットワークを縮小することも可能にする近似ネットワークモーフィズム（ANMs）を導入する。
• パレート前線上に個体群を維持し、安価な目的を用いて親/子の選択を有利にすることで高価な評価の前にバイアスをかけることで高価な評価の前にバイアスをかける進化アルゴリズムLEMONADEを開発する。
• NMおよびANM演算子でネットワークを変異させて子を生み出し、親から得られた重みに基づいて子の初期化を行うことでラマルキアン継承を適用する。
• 評価を差別化する：安価な目的（パラメータ、FLOPs、推論時間）を高頻度でサンプリングして最適化し、より高価な目的（検証精度）はより少ない頻度で評価して多様なパレート前線を構築する。
• 単一のトレードオフではなくパレート前線上のアーキテクチャ集合を返し、セルや完全なアーキテクチャを含む任意の探索空間をサポートする。

実験結果

リサーチクエスチョン

• RQ1 精度とリソース指標全体で、複数目的NASがどのようにパレート前線を効率的に近似できるか？
• RQ2 ネットワークモーフィズムによるラマルキアン継承は、子孫をウォームスタートさせることでNASを高速化できるか？
• RQ3 手設計や他のNAS手法と比較して、制約のない探索空間や異なる目的（例：パラメータ、FLOPs、推論時間）に対してLEMONADEの性能はどの程度か？

主な発見

• LEMONADEは16 GPUsで5日間、複数の目的下でMobileNetV2やNASNetと競合するアーキテクチャを発見する。
• 探索は10,000から1,000,000パラメータを含むパレート前線を生み出し、ベースラインより推論時間が改善される。
• CIFAR-10では、LEMONADEはNASNetとMobileNetV2をいくつかのリソースを重視した条件で上回り、最先端の多目的手法と競合するか優れている。
• 80 GPU日を用いて、LEMONADEははるかに多くの計算を要したZophら（20014）などの手法と競争力のある結果を達成した。
• ImageNet64x64およびImageNetモバイル設定へセルを転送したところ、転移実験でNASNetsやMobileNets V2などのベースラインを上回った。
• 表1は、同一の学習条件下でさまざまなモデルサイズにわたり、LEMONADEがいくつかのNAS手法に匹敵または上回ることを示している。