[論文レビュー] HNAS: Hierarchical Neural Architecture Search on Mobile Devices.

Xin Xia, Wenrui Ding|arXiv (Cornell University)|May 15, 2020

Advanced Neural Network Applications参考文献 41被引用数 8

ひとこと要約

HNASは、層ごとの演算プルーニングを用いて層単位の演算探索空間を構築する階層的ニューラルアーキテクチャ探索手法を提案する。これにより、モバイルデバイスの遅延制約を満たしつつ、各層で自動的に演算を選択できる。モバイル遅延制約下で、HNASが生成したモデルは、手動設計およびNAS最適化済みの最先端モデルを上回る性能を発揮する。

ABSTRACT

Neural Architecture Search (NAS) has attracted growing interest. To reduce the search cost, recent work has explored weight sharing across models and made major progress in One-Shot NAS. However, it has been observed that a model with higher one-shot model accuracy does not necessarily perform better when stand-alone trained. To address this issue, in this paper, we propose a new method, named Hierarchical Neural Architecture Search (HNAS). Unlike previous approaches where the same operation search space is shared by all the layers in the supernet, we formulate a hierarchical search strategy based on operation pruning and build a layer-wise operation search space. In this way, HNAS can automatically select the operations for each layer. During the search, we also take the hardware platform constraints into consideration for efficient neural network model deployment. Extensive experiments on ImageNet show that under mobile latency constraint, our models consistently outperform state-of-the-art models both designed manually and generated automatically by NAS methods.

研究の動機と目的

• 既存のワンショットNAS手法の限界、すなわち高いワンショット精度がスタンドアロンモデルの性能に相関しないことに対処する。
• モバイルデバイスでの高精度を維持しつつ、ニューラルアーキテクチャ探索の探索コストを低減する。
• ハードウェアプラットフォームの制約（例：遅延）をNASプロセスに直接統合し、効率的なデプロイメントを実現する。
• 各層で自動的に演算を選択できる層単位の演算探索空間を構築する。これにより、モデルの効率性と性能が向上する。

提案手法

• 全層に共通する探索空間ではなく、各層ごとに異なる演算探索空間を構築するため、演算プルーニングに基づく階層的探索戦略を定式化する。
• 各層が自身の学習済み演算セットから動的に選択できる、層単位の演算選択を備えたスーパーネットを構築する。
• モバイル遅延制約を探索プロセスに統合し、実世界のデプロイメント要件を満たすアーキテクチャを優先する。
• スーパーネット全体に重み共有を適用して訓練コストを削減しつつ、最終的なスタンドアロンモデルが高精度を達成することを保証する。
• 勾配ベースの演算選択を可能にする微分可能探索戦略を採用し、スーパーネットのエンドツーエンド学習を実現する。
• 探索プロセスを最適化し、モバイル遅延制約下で正確かつ効率的なアーキテクチャを優先する。

実験結果

リサーチクエスチョン

• RQ1 各層で異なる階層的演算探索空間は、共通探索空間を超えるワンショットNASの一般化性能を向上させるか？
• RQ2 層レベルでの演算プルーニングは、共通の演算空間を用いた従来のNASと比較して、より優れたスタンドアロンモデル性能をもたらすか？
• RQ3 精度を損なうことなく、モバイル遅延のようなハードウェアに配慮した制約をNASプロセスにどの程度統合できるか？
• RQ4 HNASは、モバイルデプロイメント制約下で、手動設計およびNASで生成された最先端モデルと比較して、精度と効率性の両面で優れているか？

主な発見

• HNASが生成したモデルは、同じモバイル遅延制約下でImageNetにおいて最先端のモデルを上回るトップ-1精度を達成する。
• 層単位の演算選択を伴う階層的探索戦略は、共通の演算空間を用いた従来のワンショットNASと比較して、より優れたスタンドアロンモデル性能をもたらす。
• HNASで探索されたモデルは、精度と効率性のトレードオフという観点から、手動設計およびNAS生成モデルをすべて上回る。
• 探索段階でハードウェア遅延制約を統合することで、正確かつ最小限の遅延オーバーヘッドでモバイルプラットフォームにデプロイ可能なアーキテクチャが得られる。