[論文レビュー] MorphNet: Fast & Simple Resource-Constrained Structure Learning of Deep Networks

Ariel Gordon, Elad Eban+5 more|arXiv (Cornell University)|Nov 18, 2017

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 48

ひとこと要約

MorphNetは、活性化に基づくスパarsity正則化を用いて反復的にネットワークを縮小・拡張することで、最適な深層ネットワーク構造を自動で学習するスケーラブルでリソース制約付きのニューラルアーキテクチャサーチ手法である。FLOPsあたりの推論コストを維持したまま、JFTで最大2.1%の相対的MAP向上を達成し、Inception-v2 や MobileNet といった人為的設計されたモデルを上回る性能を発揮するが、追加のトレーニングコストは最小限に抑えられる。

ABSTRACT

We present MorphNet, an approach to automate the design of neural network structures. MorphNet iteratively shrinks and expands a network, shrinking via a resource-weighted sparsifying regularizer on activations and expanding via a uniform multiplicative factor on all layers. In contrast to previous approaches, our method is scalable to large networks, adaptable to specific resource constraints (e.g. the number of floating-point operations per inference), and capable of increasing the network's performance. When applied to standard network architectures on a wide variety of datasets, our approach discovers novel structures in each domain, obtaining higher performance while respecting the resource constraint.

研究の動機と目的

• 特定のハードウェアおよび効率制約のもとで深層ニューラルネットワーク構造の自動設計を実現すること。
• FLOPsなどの特定の計算リソースを標的としない既存のスパarsityベースの手法の限界を克服すること。
• ユーザーが定義したリソース予算を尊重しながら、パフォーマンスを向上させるスケーラブルで汎用的な手法を開発すること。
• 膨大な試行錯誤や補助ネットワークを必要とせずに、手作業で設計されたアーキテクチャを上回る自動構造発見を可能にすること。

提案手法

• MorphNetは、ネットワークの活性化にリソース重み付きのスパースファイティング正則化子を適用し、重要度の低いニューロンを段階的にプルーニングする。
• 最適化中に全層に一様な乗法的要因を適用することで、ネットワークを拡張する。
• 目標リソース（例：FLOPs やモデルサイズ）に合わせて、正則化子 G を設計し、目標からの逸脱をペナルティ化することで、特定のリソースを標的とする。
• スパarsity正則化による縮小とスケーリングによる拡張を交互に繰り返すことで、アーキテクチャ空間を効率的に探索・最適化する。
• 1回または数回のトレーニングイテレーションで各アーキテクチャに適用可能であり、計算コストが低い。
• 残留ブロック内のすべてのフィルタがプルーニングされた場合に自然に層の削除が可能となり、追加の論理処理が不要になる。

実験結果

リサーチクエスチョン

• RQ1 FLOPs制約が厳しい条件下で、単純かつスケーラブルな手法が改善されたDNNアーキテクチャを自動で発見できるか？
• RQ2 FLOPsとモデルサイズといった異なるリソースを標的とすることで、得られるネットワーク構造とパフォーマンスにどのような影響が生じるか？
• RQ3 MorphNetは、JFT や AudioSet といった大規模データセットにおいて、ベースラインと同等の計算コストでパフォーマンスを向上させられるか？
• RQ4 MorphNetは、Inception-v2 や MobileNet といった手作業で設計されたモデルと同等のFLOP制約下で、それらを上回る性能を発揮できるか？
• RQ5 既存のNAS手法が数か月分のGPU時間が必要とされるのに対し、MorphNetはトレーニングコストをどの程度削減できるか？

主な発見

• JFTデータセット（3.5億枚の画像、2万クラス）において、MorphNetはFLOPsあたりの推論コストを維持したまま、MAPに2.1%の相対的向上を達成した。
• ImageNetにおいて、Inception-v2の精度をFLOPsを増やさずに1.1%向上させ、元の手作業設計アーキテクチャを上回った。
• 50% FLOPs制約下のMobileNetにおいて、MorphNetは相対的精度向上として1.78%を達成し、すでに最適化が施されたモデルに対しても有効であることを示した。
• FLOPsを標的とした場合、MorphNetは計算量の高い初期層をプルーニングしたが、モデルサイズを標的とした場合、後段の層にあるパラメータが多い3×3畳み込み層を削除した。
• 各制約に対して構造的に異なる改善済みアーキテクチャが発見され、制約に特化した標的指定がより良いトレードオフをもたらすことを示した。
• MorphNetの総トレーニングコストは、1つのベースラインモデルをトレーニングするコストに比べてわずか約5%増加にとどまり、数か月分のGPU時間が必要な他のNAS手法と比べて極めて効率的であった。