[論文レビュー] Energy-Aware Neural Architecture Optimization with Fast Splitting Steepest Descent

Dilin Wang, Meng Li+3 more|arXiv (Cornell University)|Oct 7, 2019

Advanced Neural Network Applications参考文献 31被引用数 9

ひとこと要約

本稿では、Liuら（2019b）の手法を拡張し、分割プロセスにエネルギー消費コストを統合するとともに、計算コストを低減するための高速なレイリー商確率勾配法を導入することで、エネルギーに配慮したニューラルアーキテクチャサーチ手法を提案する。この手法はImageNet上で最先端の精度-FLOPsトレードオフを達成し、MobileNetV2よりも0.8%、MobileNetV1よりも1.0%高いトップ-1精度を実現しながら、低FLOPsを維持する。

ABSTRACT

Designing energy-efficient networks is of critical importance for enabling state-of-the-art deep learning in mobile and edge settings where the computation and energy budgets are highly limited. Recently, Liu et al. (2019) framed the search of efficient neural architectures into a continuous splitting process: it iteratively splits existing neurons into multiple off-springs to achieve progressive loss minimization, thus finding novel architectures by gradually growing the neural network. However, this method was not specifically tailored for designing energy-efficient networks, and is computationally expensive on large-scale benchmarks. In this work, we substantially improve Liu et al. (2019) in two significant ways: 1) we incorporate the energy cost of splitting different neurons to better guide the splitting process, thereby discovering more energy-efficient network architectures; 2) we substantially speed up the splitting process of Liu et al. (2019), which requires expensive eigen-decomposition, by proposing a highly scalable Rayleigh-quotient stochastic gradient algorithm. Our fast algorithm allows us to reduce the computational cost of splitting to the same level of typical back-propagation updates and enables efficient implementation on GPU. Extensive empirical results show that our method can train highly accurate and energy-efficient networks on challenging datasets such as ImageNet, improving a variety of baselines, including the pruning-based methods and expert-designed architectures.

研究の動機と目的

• リソース制約のあるモバイルおよびエッジ環境における、従来のニューラルアーキテクチャサーチ手法の非効率性に対処すること。
• Liuら（2019b）の手法を改善し、分割プロセスにエネルギー消費コストを統合することで、よりエネルギー効率の高いアーキテクチャの発見を支援すること。
• 特に大規模ネットワークにおいて顕著な計算コストを要する、元の分割勾配降下法における固有値分解の高コストな処理を軽減すること。
• 新規の確率的勾配近似を用いることで、分割プロセスの効率的かつスケーラブルでGPU互換性を持つ実装を可能にすること。
• Pruningベースやエキスパート設計のモデルと比較して、ImageNetなどの大規模ベンチマークで優れた精度-FLOPsトレードオフを達成すること。

提案手法

• エネルギー消費コストが低いニューロンを優先して分割するエネルギーに配慮した分割手順を導入し、より効率的なモデルの探索を促進する。
• 固有値分解ステップを近似する高速なレイリー商確率勾配法を提案し、時間計算量をO(nd³)からO(nd²)に削減する。
• 空間計算量をO(nd²)からO(nd)に削減し、効率的なGPU実装と大規模ネットワークのトレーニングを可能にする。
• Liuら（2019b）の連続最適化フレームワークを維持し、無限次元空間における勾配降下を用いて、暗黙的なアーキテクチャ空間探索を可能にする。
• パラメータ更新フェーズと分割フェーズを統合：まず勾配降下により重みを最適化し、次にエネルギーに配慮した基準と高速勾配近似に基づいてニューロンを分割する。
• 各段階で分割するニューロン数を制御する成長率αを導入し、探索と効率性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 エネルギー消費コストを分割プロセスに効果的に統合することで、よりエネルギー効率の高いニューラルアーキテクチャの発見が可能になるか？
• RQ2 分割勾配降下法における計算コストの高い固有値分解ステップを、GPU互換性を持つスケーラブルで微分可能な近似に置き換えられるか？
• RQ3 提案手法が、Pruningベースやエキスパート設計のモデルと比較して、ImageNetなどの大規模ベンチマークでより優れた精度-FLOPsトレードオフを達成するか？
• RQ4 ハイパーパrameterの選択、特に成長率αやトレーニング・分割時のランダム初期化に対する手法のロバストネスはいかがなものか？
• RQ5 MobileNetV1やV2に使用されるような大規模モデルにも、先行手法のメモリおよび計算のボトル neck を克服してスケーリング可能か？

主な発見

• 提案手法は、ImageNetにおいてMobileNetV1よりも1.0%、MobileNetV2よりも0.8%高いトップ-1精度を達成しながら、FLOPsを削減した。
• CIFAR-100では、Pruningベースのベースラインと比較して、より優れた精度-FLOPsトレードオフを達成し、優れた効率性を示した。
• 分割処理の計算コストを標準的なバックプロパゲーションと同等のレベルにまで低下させ、効率的なGPU実装を可能にした。
• 成長率αが[0.3, 0.5]の範囲でトレーニングしたモデルが最良の性能を示したが、α = 0.2では高コスト層の十分な探索が行われず、性能が劣化した。
• ランダム初期化やデータシャッフルに対しても手法はロバストであり、異なるシードを用いた複数回の実験でも一貫した性能を示した。
• アブレーションスタディの結果、エネルギーに配慮した分割が、特に低FLOPs領域においてより効率的なアーキテクチャを生成することが確認された。