[論文レビュー] FBNetV3: Joint Architecture-Recipe Search using Neural Acquisition Function

Xiaoliang Dai, Alvin Wan+9 more|arXiv (Cornell University)|Jun 3, 2020

Advanced Neural Network Applications参考文献 23被引用数 52

ひとこと要約

FBNetV3は、ニューラルアセスメント関数を用いて、ニューラルネットワークアーキテクチャとその最適なトレーニングレシピを同時に探索するJointNASを導入する。プロキシデータセットで事前学習されたこの関数により、効率的な共同最適化が可能となり、EfficientNetおよびResNeStと同等の精度を達成しながら、それぞれ1.4倍および5.0倍少ないFLOPsで動作する最先端のコンパクトなImageNetモデルが得られる。

ABSTRACT

Neural Architecture Search (NAS) yields state-of-the-art neural networks that outperform their best manually-designed counterparts. However, previous NAS methods search for architectures under one training recipe (i.e., training hyperparameters), ignoring the significance of training recipes and overlooking superior architectures under other training recipes. Thus, they fail to find higher-accuracy architecture-recipe combinations. To address this oversight, we present JointNAS to search both (a) architectures and (b) their corresponding training recipes. To accomplish this, we introduce a neural acquisition function that scores architectures and training recipes jointly. Following pre-training on a proxy dataset, this acquisition function guides both coarse-grained and fine-grained searches to produce FBNetV3. FBNetV3 is a family of state-of-the-art compact ImageNet models, outperforming both automatically and manually-designed architectures. For example, FBNetV3 matches both EfficientNet and ResNeSt accuracy with 1.4x and 5.0x fewer FLOPs, respectively. Furthermore, the JointNAS-searched training recipe yields significant performance gains across different networks and tasks.

研究の動機と目的

• 従来のNAS手法が単一の固定されたトレーニングレシピのもとでアーキテクチャのみを最適化するという制限に対処すること。
• 優れたパフォーマンスは単にアーキテクチャそのものではなく、最適なアーキテクチャ-レシピの組み合わせから生じるという仮説を検証すること。
• 同時にアーキテクチャ空間とレシピ空間を探索する共同探索フレームワークを構築すること。
• リソース制約のあるデバイスにおける効率的な推論を目的とした、コンパクトで高精度なモデルのファミリーを生成すること。

提案手法

• 探索中にアーキテクチャとその対応するトレーニングレシピを同時にスコアリングするニューラルアセスメント関数を提案する。
• アーキテクチャ空間およびレシピ空間での効率的な探索を支援するために、プロキシデータセットでアセスメント関数を事前学習する。
• 事前学習済みアセスメント関数を用いて、まずアーキテクチャ空間における粗い探索を実施し、その後、レシピ空間における詳細な探索を実施する。
• 共同探索プロセスを用いて、最適化されたアーキテクチャ-レシピペアを有するFBNetV3、すなわちコンパクトなImageNetモデルのファミリーを発見する。
• 学習済みアセスメント関数を活用して、全トレーニングを実施せずに高性能な組み合わせを特定する。
• 発見されたレシピが多様なネットワークやタスクにわたり有効であることを検証し、一般化の利点を示す。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャとトレーニングレシピの共同探索は、アーキテクチャのみの探索よりも優れたパフォーマンスをもたらすか？
• RQ2 アーキテクチャ-レシピの相互作用をモデル化するニューラルアセスメント関数は、探索の効率性と精度をどのように向上させるか？
• RQ3 アーキテクチャとトレーニングレシピを同時に最適化することで、コンパクトなモデルにおいてどの程度のパフォーマンス向上が達成可能か？
• RQ4 発見されたトレーニングレシピは、異なるネットワークアーキテクチャやタスクに一般化するか？
• RQ5 共同探索フレームワークは、手動設計および自動設計された対比モデルを上回るモデルを生成できるか？

主な発見

• FBNetV3はEfficientNetと同等の精度を達成しながら、1.4倍少ないFLOPsを実現し、優れた効率性を示している。
• FBNetV3はResNeStと同等の精度を達成しながら、5.0倍少ないFLOPsを実現し、顕著な計算上の利点を示している。
• JointNASで最適化されたトレーニングレシピは、複数のネットワークやタスクでパフォーマンスを向上させ、強力な一般化性を示している。
• ニューラルアセスメント関数により、探索段階で完全なトレーニングを実施せずに、効果的な共同探索が可能になった。
• この手法により、手動設計および従来のNASで最適化されたモデルを上回るアーキテクチャ-レシピペアが発見された。
• 事前学習済みアセスメント関数により、粗い探索および詳細な探索の両方を効果的にガイドすることで、探索コストを顕著に削減できた。