[論文レビュー] Fine-Grained Neural Architecture Search

Heewon Kim, Seokil Hong+3 more|arXiv (Cornell University)|Nov 18, 2019

Advanced Neural Network Applications参考文献 35被引用数 13

ひとこと要約

FGNASは、畳み込み、正規化、活性化関数などの異種な演算を含む、チャンネルごとの演算探索（チャンネルプルーニングを含む）を実行する微分可能でエンドツーエンドのニューラルアーキテクチャ探索フレームワークを提案する。FLOPsと遅延を著しく削減しながら、リソース制約下でも勾配ベースの学習により効率的に最適化でき、画像分類および超解像において最先端の性能を達成する。

ABSTRACT

We present an elegant framework of fine-grained neural architecture search (FGNAS), which allows to employ multiple heterogeneous operations within a single layer and can even generate compositional feature maps using several different base operations. FGNAS runs efficiently in spite of significantly large search space compared to other methods because it trains networks end-to-end by a stochastic gradient descent method. Moreover, the proposed framework allows to optimize the network under predefined resource constraints in terms of number of parameters, FLOPs and latency. FGNAS has been applied to two crucial applications in resource demanding computer vision tasks---large-scale image classification and image super-resolution---and demonstrates the state-of-the-art performance through flexible operation search and channel pruning.

研究の動機と目的

• 探索空間の多様性とモデル性能の面で既存手法を上回る柔軟でスケーラブルなニューラルアーキテクチャ探索手法の開発を目的とする。
• 探索空間が著しく拡大された場合でも、確率的勾配降下法を用いたエンドツーエンドのニューラルアーキテクチャ学習を可能にする。
• FLOPs、パラメータ数、遅延などのリソース制約を最適化目的関数に直接組み込み、実用的で効率的なモデルデプロイメントを実現する。
• チャンネルごとの演算探索（チャンネルプルーニングを含む）が、視覚タスク全体におけるモデル効率性と精度の向上にどの程度寄与するかを実証すること。

提案手法

• FGNASは、畳み込み、正規化、活性化、およびノーオペレーション（プルーニング）を含む異種な演算の集合から、各チャンネルが独立に選択可能なチャンネルレベルでの演算探索を実行する。
• 本手法は、アーキテクチャ意思決定の勾配ベース最適化を可能にする微分可能ゲーティング関数を用い、確率的勾配降下法によるエンドツーエンド学習を実現する。
• 精度とリソース制約（FLOPs、遅延、パラメータ数）を同時に最適化するための微分可能正則化項を導入し、統一されたフレームワーク内で多目的最適化を可能にする。
• 探索空間には、さまざまなカーネルサイズ（1×1、3×3、5×5、7×7、9×9、11×11）、活性化関数（ReLU、PReLU、tanh）、およびチャンネルプルーニングが含まれ、高いアーキテクチャの柔軟性を実現する。
• レイヤー単位およびチャンネル単位の最適化をサポートし、すべてのレイヤーを同時に探索することで、反復的またはヒューリスティックな探索戦略の必要性を低減する。
• 本手法はVGG-16、ResNet、DenseNetのバックボーン上で評価され、アブレーションスタディによりチャンネルごとの探索とゲーティング関数設計の重要性が確認されている。

実験結果

リサーチクエスチョン

• RQ1 異種な演算とチャンネルプルーニングを伴うチャンネルごとの演算探索は、レイヤー単位やブロック単位のNASと比較して、モデルの精度と効率を顕著に向上させることができるか？
• RQ2 精度とリソース制約（FLOPs、遅延）を統合的に最適化する微分可能アーキテクチャ探索は、モデル性能と探索効率にどのように影響を与えるか？
• RQ3 探索空間の粒度をレイヤーからチャンネルに高めることで、アーキテクチャの多様性とモデル性能はどの程度向上するか？
• RQ4 FGNASは、画像分類および画像超解像の両タスクでFLOPsと推論時間を削減しながら、最先端の結果を達成できるか？

主な発見

• CIFAR-10で、FGNASは元のVGG-16と比較してFLOPsを5.7倍削減しながら、0.3%未満の精度低下にとどめる。
• CIFAR-10では、FGNAS（P）はSlimming や AMC よりも高い精度を達成し、探索コストは1 GPU時間で、強化学習ベースの手法の30 GPU日と比較して顕著に低い。
• 画像超解像タスクでは、FGNASはFLOPsを1.5倍削減し、パラメータ数においても最先端のNAS手法を上回る。3層のSRCNNモデルでさえも、性能で上回っている。
• FGNASが探索した110M FLOPsのネットワークでは、第5層で31種類の異なる演算タイプが使用されており、1レイヤーあたりの高いアーキテクチャの複雑さと柔軟性を示している。
• 本手法は、1×1畳み込みがチャンネル拡張と効率性の観点で頻繁に使用されること、およびプーリング層の後には特徴抽出のため5×5以上の大きなカーネルが好まれることを同定している。
• アブレーションスタディにより、チャンネルごとの探索と微分可能ゲーティング関数の使用が性能向上に顕著に寄与することが確認され、タイプ(2)のゲーティング関数がレイヤー単位の代替手法を上回っている。