[論文レビュー] Fast Neural Architecture Construction using EnvelopeNets

Purushotham Kamath, Abhishek Singh+1 more|arXiv (Cornell University)|Mar 18, 2018

Advanced Neural Network Applications参考文献 41被引用数 7

ひとこと要約

この論文では、フィルタの特徴マップ統計を初期学習段階で活用して、Pruningと拡張をガイドすることで、CNNアーキテクチャ探索を高速化するFast Neural Architecture Construction (NAC)を提案する。1つのGPUで1日未満の時間で最先端の精度を達成し、手作業で設計されたあるいはランダムに生成された同程度のサイズのネットワークを上回る性能を発揮する。

ABSTRACT

Fast Neural Architecture Construction (NAC) is a method to construct deep network architectures by pruning and expansion of a base network. In recent years, several automated search methods for neural network architectures have been proposed using methods such as evolutionary algorithms and reinforcement learning. These methods use a single scalar objective function (usually accuracy) that is evaluated after a full training and evaluation cycle. In contrast NAC directly compares the utility of different filters using statistics derived from filter featuremaps reach a state where the utility of different filters within a network can be compared and hence can be used to construct networks. The training epochs needed for filters within a network to reach this state is much less than the training epochs needed for the accuracy of a network to stabilize. NAC exploits this finding to construct convolutional neural nets (CNNs) with close to state of the art accuracy, in < 1 GPU day, faster than most of the current neural architecture search methods. The constructed networks show close to state of the art performance on the image classification problem on well known datasets (CIFAR-10, ImageNet) and consistently show better performance than hand constructed and randomly generated networks of the same depth, operators and approximately the same number of parameters.

研究の動機と目的

• 各候補アーキテクチャに対して完全な訓練サイクルを要する神経ネットワークアーキテクチャ探索(NAS)手法の高い計算コストを解消すること。
• 探索中にアーキテクチャを比較する前に、ネットワークの精度が収束するのを待つというボトル neck を克服すること。
• 完全な訓練評価に依存せずに、迅速なヒューリスティックベースのアーキテクチャ構築を可能にする手法を開発すること。
• 初期段階のフィルタ特徴マップ統計を活用して、フィルタの有用性を推定し、アーキテクチャの進化をガイドすること。
• 大幅な探索時間削減を実現しつつ、最先端の精度に達するか、それを上回る高性能なCNNを構築すること。

提案手法

• 段階的な深さ、チャネル拡張、特徴マップのダウンサンプリングといった既知の設計原則を用いて、過剰に構築された初期アーキテクチャであるEnvelopeNetを構築する。
• 各フィルタの出力から得られる特徴マップ統計を収集するために、限定的なエポック数でEnvelopeNetを訓練する。
• これらの統計を用いてフィルタの有用性スコアを計算し、完全な精度収束を待たずにフィルタの重要性を早期に比較可能にする。
• 有用性スコアに基づいて低有用なフィルタを繰り返しPruningすることで、冗長性と複雑さを低減する。
• 有用性指標とアーキテクチャの事前知識に従い、性能が低いレイヤーに新しいフィルタやパスを追加することで拡張を行う。
• スイッチバック接続を、特徴表現への寄与度が低いものから削除することで、シナプスPruningを統合し、生物学的神経Pruningを模倣する。

実験結果

リサーチクエスチョン

• RQ1 初期学習段階の特徴マップ統計から得られるフィルタの有用性は、ネットワーク精度の収束よりも早く安定するか。その結果、完全な収束を待たずに正確なアーキテクチャ意思決定が可能か。
• RQ2 初期フィルタ有用性推定を用いることで、完全な訓練に基づくNAS手法と比較して、高性能なCNNを構築するのに要する時間が著しく短縮されるか。
• RQ3 本手法で提案するNACは、同程度の深さとパラメータ数を有する手作業設計ネットワークやランダム生成ネットワークを上回る性能を示せるか。
• RQ4 特徴マップ統計に基づく反復的Pruningと拡張プロセスは、従来のNAS手法と比較して、精度と効率の面で優れているか。
• RQ5 ネットワークサイズが拡大するに従い、本手法の性能はどの程度低下するか。特に非常に広いまたは深い構成においては。

主な発見

• 初期学習段階の特徴マップ統計から推定されるフィルタの有用性は、ネットワーク精度よりもはるかに早く安定し、収束を待たずに信頼性の高いアーキテクチャ意思決定が可能になる。
• EnvelopeNetsを用いたNAC手法は、CIFAR-10およびImageNetでSOTAに近い精度を達成するCNNを、1つのGPUで1日未満の時間で構築でき、大多数の既存のNAS手法よりも高速である。
• 構築されたネットワークは、同程度の深さ、演算タイプ、パラメータ数を持つ手作業設計ネットワークやランダム生成ネットワークと比較して、一貫して優れた性能を発揮する。
• 特徴マップ統計を用いた初期段階のフィルタ有用性推定により、完全な訓練サイクルを必要とせずに、効果的なPruningと拡張が可能であることが示された。
• ネットワークサイズが拡大するに従い、性能向上の恩恵は次第に小さくなり、特に非常に広いまたは深い構成では、パラメータ数の増加による向上ではなく、構造的要因が主因であることが示唆された。
• Pruningと拡張プロセスは、神経新生、アポトーシス、シナプスPruningを含む生物学的神経可塑性に類似しており、効率的なアーキテクチャ構築のための生物学的インスピレーションに基づく設計原理である可能性を示している。