[論文レビュー] Single-Path Mobile AutoML: Efficient ConvNet Design and NAS Hyperparameter Optimization

Dimitrios Stamoulis, Ruizhou Ding+5 more|arXiv (Cornell University)|Jul 1, 2019

Advanced Neural Network Applications参考文献 60被引用数 34

ひとこと要約

本論文は、1層あたりのすべての候補演算を1つの共有スーパーカーネルに統合することで、マルチパスのオーバーヘッドを排除し、3時間未塔の探索コストにまで低減する、異なる可微分Neural Architecture Search (NAS)手法であるSingle-Path NASを提案する。TPU-v3で8エポックの学習のみを用いることで、最大5,000倍の探索コスト削減が達成され、80ms未満の遅延制約下で75.62%のトップ1 ImageNet精度を達成し、先行するモバイルNAS手法を上回る性能を発揮する。

ABSTRACT

Can we reduce the search cost of Neural Architecture Search (NAS) from days down to only few hours? NAS methods automate the design of Convolutional Networks (ConvNets) under hardware constraints and they have emerged as key components of AutoML frameworks. However, the NAS problem remains challenging due to the combinatorially large design space and the significant search time (at least 200 GPU-hours). In this work, we alleviate the NAS search cost down to less than 3 hours, while achieving state-of-the-art image classification results under mobile latency constraints. We propose a novel differentiable NAS formulation, namely Single-Path NAS, that uses one single-path over-parameterized ConvNet to encode all architectural decisions based on shared convolutional kernel parameters, hence drastically decreasing the search overhead. Single-Path NAS achieves state-of-the-art top-1 ImageNet accuracy (75.62%), hence outperforming existing mobile NAS methods in similar latency settings (~80ms). In particular, we enhance the accuracy-runtime trade-off in differentiable NAS by treating the Squeeze-and-Excitation path as a fully searchable operation with our novel single-path encoding. Our method has an overall cost of only 8 epochs (24 TPU-hours), which is up to 5,000x faster compared to prior work. Moreover, we study how different NAS formulation choices affect the performance of the designed ConvNets. Furthermore, we exploit the efficiency of our method to answer an interesting question: instead of empirically tuning the hyperparameters of the NAS solver (as in prior work), can we automatically find the hyperparameter values that yield the desired accuracy-runtime trade-off? We open-source our entire codebase at: https://github.com/dstamoulis/single-path-nas.

研究の動機と目的

• モバイル遅延制約下で、数日から3時間未塔にまで探索コストを大幅に削減しながら、高い精度を維持すること。
• Squeeze-and-Excitationパスを完全に探索可能な演算として扱うことで、可微分NASにおける精度-実行時間トレードオフを改善すること。
• 手動または経験的チューニングに依存せず、望ましい精度-実行時間トレードオフを達成するために、NASハイパーパramータを自動的に最適化できるかを検証すること。
• クラウドおよびモバイル環境におけるNASベースのAutoMLサービス向けに、スケーラブルで効率的なフレームワークを提供すること。

提案手法

• すべての候補演算を1層あたり1つの共有スーパーカーネルに統合し、複数の並列パスではなく、カーネル重みのサブセット選択を用いる、新しい1パス可微分NAS定式化を提案する。
• Squeeze-and-Excitation (SE)パスを1パススーパーカーネルに統合することで、注目メカニズムのエンドツーエンド可微分最適化を可能にする。
• マルチパススーパーネット学習に伴うメモリおよび計算オーバーヘッドを回避することで、探索コストをわずか8エポック（24 TPU時間）にまで低減する。
• NASソルバーハイパーパramータ（例：トレードオフ重みλ）をブラックボックス最適化により最適化できるように、ハイパーパramータ最適化フレームワークを採用する。
• ベイズ最適化、マルチフィデリティ最適化、およびランダムサーチを用い、80msのターゲット遅延近くのPareto最適なモデルを達成するハイパーパramータを自動的に同定する。
• クラウドTPU統合を活用してNASパイプラインを自動化し、複数の実行にわたりスケーラブルで並列的かつ効率的なハイパーパラメータ探索を実現する。

実験結果

リサーチクエスチョン

• RQ1 モバイル遅延制約下で、数日から3時間未塔にまでNASの探索コストを削減できるか、かつ精度を維持または向上できるか？
• RQ2 可微分NASにおける精度-実行時間トレードオフを改善するために、Squeeze-and-Excitationパスを完全に探索可能な演算として扱うことでどのような効果が得られるか？
• RQ3 可微分NASソルバーのハイパーパラメータを、手動または経験的チューニングに依存せず、望ましい精度-実行時間トレードオフを達成するために自動的に最適化できるか？
• RQ4 ハイパーパラメータ最適化における低フィデリティ関数評価は、NASの探索空間を的確に反映しているか、それとも最適解への収束を劣化させるか？

主な発見

• Single-Path NASは、Pixel 1で約80msの遅延制約下で、75.62%という最先端のトップ1 ImageNet精度を達成し、先行するモバイルNAS手法や手動設計モデル（例：MobileNetV3）を上回る性能を発揮する。
• 本手法は、合計で8エポック（24 TPU時間）の探索コストにまで低減され、従来のNAS手法が数百GPU時間を要するのに対し、5,000倍の高速化が達成された。
• ヴァニラベイズ最適化は、マルチフィデリティベイズ最適化を上回る性能を示し、低フィデリティ評価が全目的関数の地形を信頼性を持って反映しないことが判明した。
• 1パススーパーカーネルの使用により、複数のパスを維持する必要がなくなり、メモリおよび計算オーバーヘッドが削減されつつ、性能は維持または向上した。
• ランダムサーチはハイパーパラメータチューニングにおいて比較的高い性能を示しており、効率的な探索パイプラインと組み合わせれば、単純なサンプリング手法がNASハイパーパラメータ探索において有効である可能性を示唆している。
• 本研究では、ハイパーパラメータ最適化における早期の低コスト評価が、Pareto最適領域を超えて「過剰に進展」する可能性があることが判明し、Hyperbandのような近似ベース手法におけるリスクが示された。