[論文レビュー] FNA++: Fast Network Adaptation via Parameter Remapping and Architecture Search

Jiemin Fang, Yuzhu Sun+5 more|arXiv (Cornell University)|Jun 21, 2020

Advanced Neural Network Applications参考文献 89被引用数 4

ひとこと要約

FNA++ は、パラメータの再マッピングとニューラルアーキテクチャ探索を活用して、事前学習済みネットワーク（例：MobileNetV2）をセマンティックセグメンテーション、オブジェクト検出、ポーズ推定などの新しいタスクに効率的に適応する高速なネットワーク適応手法を提案する。種のネットワークからスーパーネットへのパラメータ再マッピングと、種に近いアーキテクチャ探索により、最先端のNAS手法と比較して計算コストを最大1737倍まで低減しつつ、優れた性能を達成する。

ABSTRACT

Deep neural networks achieve remarkable performance in many computer vision tasks. Most state-of-the-art (SOTA) semantic segmentation and object detection approaches reuse neural network architectures designed for image classification as the backbone, commonly pre-trained on ImageNet. However, performance gains can be achieved by designing network architectures specifically for detection and segmentation, as shown by recent neural architecture search (NAS) research for detection and segmentation. One major challenge though is that ImageNet pre-training of the search space representation (a.k.a. super network) or the searched networks incurs huge computational cost. In this paper, we propose a Fast Network Adaptation (FNA++) method, which can adapt both the architecture and parameters of a seed network (e.g. an ImageNet pre-trained network) to become a network with different depths, widths, or kernel sizes via a parameter remapping technique, making it possible to use NAS for segmentation and detection tasks a lot more efficiently. In our experiments, we apply FNA++ on MobileNetV2 to obtain new networks for semantic segmentation, object detection, and human pose estimation that clearly outperform existing networks designed both manually and by NAS. We also implement FNA++ on ResNets and NAS networks, which demonstrates a great generalization ability. The total computation cost of FNA++ is significantly less than SOTA segmentation and detection NAS approaches: 1737x less than DPC, 6.8x less than Auto-DeepLab, and 8.0x less than DetNAS. A series of ablation studies are performed to demonstrate the effectiveness, and detailed analysis is provided for more insights into the working mechanism. Codes are available at https://github.com/JaminFong/FNA.

研究の動機と目的

• セマンティックセグメンテーションおよびオブジェクト検出におけるタスク固有のニューラルアーキテクチャの事前学習と探索にかかる高い計算コストを軽減すること。
• 完全な再トレーニングなしに、事前学習済み ImageNet モデルを新しいタスクに効率的に適応できること。
• 種のネットワークからスーパーネットへの知識転送を可能にする新しいパラメータ再マッピング技術を開発すること。
• 事前学習済みの種からのアーキテクチャレベルのファインチューニングが、ランダム探索やスーパーネットの事前学習に比べ、効率性と性能の両面で優れていることを示すこと。
• ResNet や NAS で生成されたネットワークを含む多様なバックボーンに一般化可能な手法を開発すること。

提案手法

• FNA++ は、事前学習済みの種ネットワーク（例：MobileNetV2）を出発点とし、探索空間を表すスーパーネットに拡張する。
• 新しいパラメータ再マッピング機構を用いて、種ネットワークのパラメータをスーパーネットに再マッピングし、探索プロセスの初期化を行う。
• パラメータ再マッピングされたスーパーネット上でアーキテクチャ探索を実行し、種に近いアーキテクチャに焦点を当てることで、探索空間を縮小し収束を加速する。
• スーパーネット内のパラメータ分布に基づいてターゲットアーキテクチャを導出することで、パラメータ初期化が種ネットワークに由来することを保証する。
• 最終的なネットワークは再マッピングされたパラメータを用いてファインチューニングされ、最小限のトレーニングで高速なパラメータ適応が可能になる。
• 本手法はアーキテクチャレベルとパラメータレベルの両方の適応をサポートし、移行学習の一形態として扱える。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの種ネットワークからのパラメータ再マッピングが、セグメンテーションおよび検出タスクにおけるニューラルアーキテクチャ探索の計算コストを顕著に低減できるか？
• RQ2 事前学習済みの種から初期化されたアーキテクチャ探索が、ランダム初期化または一様初期化された探索に比べ、精度と効率性の両面で優れているか？
• RQ3 提案されたパラメータ再マッピング機構は、異なるタスクにおけるネットワーク適応中に性能を効果的に保持できるか？
• RQ4 FNA++ は、ResNet や NAS で生成されたモデルを含む多様なバックボーンアーキテクチャに一般化可能か？
• RQ5 ソースタスクとターゲットタスクの間のアーキテクチャ類似度が、アーキテクチャレベルのファインチューニングの効果に与える影響は何か？

主な発見

• FNA++ は、DPC に対しては総合計算コストを 1737×、Auto-DeepLab に対しては 6.8×、DetNAS に対しては 8.0× 低減した。
• FNA++ で適応されたネットワークは、手動設計ネットワークおよび NAS で生成されたモデルを上回り、セマンティックセグメンテーション、オブジェクト検出、ヒューマンポーズ推定のすべてのタスクで優れた性能を示した。
• 種ネットワークからの効果的なパラメータ再マッピングのおかげで、最小限の再トレーニングでも優れた性能が達成された。
• アブレーションスタディの結果、パラメータ再マッピングとアーキテクチャレベルのファインチューニングが本手法の成功に不可欠であり、種に近い探索がランダム初期化よりも優れた結果をもたらすことが確認された。
• ResNet や NAS で生成されたネットワークを用いた実験により、FNA++ の一般化能力が検証され、アーキテクチャファミリーをまたがる堅牢性が示された。
• スーパーネットが再マッピングされたパラメータで初期化されているため、探索プロセスが著しく高速化され、高コストな事前学習の必要がなくなった。