[論文レビュー] HM-NAS: Efficient Neural Architecture Search via Hierarchical Masking

Yan Shen, Biyi Fang+5 more|arXiv (Cornell University)|Aug 31, 2019

Advanced Neural Network Applications参考文献 26被引用数 6

ひとこと要約

HM-NASは、重み共有NASの既存手法の制限を克服するため、マルチレベルのアーキテクチャ符号化と階層的マスキングを用いて、手動で設計されたヒューリスティクスなしで最適なネットワーク構造を自動的に学習する効率的なニューラルアーキテクチャ探索手法を提案する。CIFAR-10およびImageNetにおいて、先行手法と比較して1.8倍少ないパラメータ数と2.7倍速い学習速度でSOTAの精度を達成する。

ABSTRACT

The use of automatic methods, often referred to as Neural Architecture Search (NAS), in designing neural network architectures has recently drawn considerable attention. In this work, we present an efficient NAS approach, named HM- NAS, that generalizes existing weight sharing based NAS approaches. Existing weight sharing based NAS approaches still adopt hand-designed heuristics to generate architecture candidates. As a consequence, the space of architecture candidates is constrained in a subset of all possible architectures, making the architecture search results sub-optimal. HM-NAS addresses this limitation via two innovations. First, HM-NAS incorporates a multi-level architecture encoding scheme to enable searching for more flexible network architectures. Second, it discards the hand-designed heuristics and incorporates a hierarchical masking scheme that automatically learns and determines the optimal architecture. Compared to state-of-the-art weight sharing based approaches, HM-NAS is able to achieve better architecture search performance and competitive model evaluation accuracy. Without the constraint imposed by the hand-designed heuristics, our searched networks contain more flexible and meaningful architectures that existing weight sharing based NAS approaches are not able to discover.

研究の動機と目的

• 既存の重み共有NAS手法がアーキテクチャ候補生成において手動で設計されたヒューリスティクスによって制限を受ける部分の非最適性を是正すること。
• ノードあたりのエッジ数や演算子数に固定制約を課さないことで、より広いニューラルアーキテクチャの探索空間を可能にすること。
• 階層的マスクを用いてアーキテクチャ探索を微分可能プルーニング問題として定式化することで、探索の効率性とモデルの精度を向上させること。
• スーパーネット学習におけるバイレベル最適化によるアーキテクチャ探索バイアスを、学習されたマスキング機構で是正すること。
• 固定セル・固定演算子のNAS手法では到達できなかった、より柔軟で意味のあるアーキテクチャを発見できること。

提案手法

• ノードあたりのエッジ数や演算子数を可変にできるマルチレベルアーキテクチャ符号化方式を導入し、各エッジおよび演算子に学習可能な重要度重みを割り当てる。
• スーパーネット学習中に不必要な重みや接続をプルーニングすることで、最適なアーキテクチャを自動的に学習する階層的マスキング機構を採用する。
• アーキテクチャ探索を微分可能なモデルプルーニング問題として扱い、マスクをエンドツーエンドで学習してスーパーネット内から最良のアーキテクチャを選択する。
• 学習されたマスクを用いて、スーパーネット学習におけるバイレベル最適化に起因するバイアスを是正し、収束性と一般化性能を向上させる。
• すべての可能なアーキテクチャを含む1つの過剰にパラメータ化されたスーパーネットを構築し、すべての候補を効率的に同時に学習可能にする。
• 階層的マスキング方式を用いて、ノードごとの入力エッジ数やエッジごとの演算子数を動的に決定し、固定セル設計を越える。

実験結果

リサーチクエスチョン

• RQ1 既存の重み共有NAS手法における固定アーキテクチャ制約を緩和することで、より優れた性能と柔軟性を持つニューラルアーキテクチャが得られるか？
• RQ2 階層的マスキング機構により、手動で設計されたヒューリスティクスなしで最適なアーキテクチャ構成を自動的に学習できるか？
• RQ3 提案手法により、スーパーネット学習におけるバイレベル最適化に起因する探索バイアスが低減されるか？
• RQ4 SOTAのNASアプローチと比較して、顕著に少ないパラメータ数と短い学習時間で競争力のある精度を達成できるか？
• RQ5 発見されたアーキテクチャは、従来のNAS手法が到達できないほど柔軟で意味的に明確な構造を持つのか？

主な発見

• CIFAR-10では、SOTAの重み共有NAS手法と比較して1.8倍少ないパラメータ数と2.7倍速い学習速度で、2.41±0.05のトップ-1精度を達成する。
• ImageNetでは、改善された効率性を示しながらも競争力ある精度を達成し、CIFAR-10を超える一般化性能を示す。
• HM-NASで学習されたエッジの重要度は、ランダムな重み初期化に対しても安定しており、後段の中間ノードが一貫して高い重要度を示す。
• HM-NASが発見した最良のアーキテクチャは、DARTSがノードあたり正確に2つのエッジと1つの演算子を強制するのとは異なり、入力エッジ数が可変（≥2）で、エッジごとに複数の演算子を持つ。
• 階層的マスキング方式により、従来のNAS手法がアーキテクチャ制約のため探索できなかった、より柔軟で意味のあるアーキテクチャが発見可能である。
• アブレーションスタディの結果、マルチレベル符号化と階層的マスキングが、ランダムアーキテクチャや単一レベル符号化、手動ヒューリスティクスを用いた手法を上回ることが確認された。