[論文レビュー] SM-NAS: Structural-to-Modular Neural Architecture Search for Object Detection

Lewei Yao, Hang Xu+3 more|arXiv (Cornell University)|Nov 22, 2019

Advanced Neural Network Applications参考文献 55被引用数 14

ひとこと要約

SM-NASは、オブジェクト検出のための、2段階で多目的なニューラルアーキテクチャサーチフレームワークを提案する。バックボーンやネックなどの個々のモジュール構成と、それらの内部アーキテクチャを同時に最適化することで、ImageNetの事前学習を一切用いずに、検出データセット上で直接探索することにより、最先端のスピード・アキュラシーのトレードオフを達成した。FPN や Mask R-CNN よりも優れた性能を示し、COCOで1%のmAP向上と同時に推論時間を半減させ、類似した遅延で46%のmAPを達成した。

ABSTRACT

The state-of-the-art object detection method is complicated with various modules such as backbone, feature fusion neck, RPN and RCNN head, where each module may have different designs and structures. How to leverage the computational cost and accuracy trade-off for the structural combination as well as the modular selection of multiple modules? Neural architecture search (NAS) has shown great potential in finding an optimal solution. Existing NAS works for object detection only focus on searching better design of a single module such as backbone or feature fusion neck, while neglecting the balance of the whole system. In this paper, we present a two-stage coarse-to-fine searching strategy named Structural-to-Modular NAS (SM-NAS) for searching a GPU-friendly design of both an efficient combination of modules and better modular-level architecture for object detection. Specifically, Structural-level searching stage first aims to find an efficient combination of different modules; Modular-level searching stage then evolves each specific module and pushes the Pareto front forward to a faster task-specific network. We consider a multi-objective search where the search space covers many popular designs of detection methods. We directly search a detection backbone without pre-trained models or any proxy task by exploring a fast training from scratch strategy. The resulting architectures dominate state-of-the-art object detection systems in both inference time and accuracy and demonstrate the effectiveness on multiple detection datasets, e.g. halving the inference time with additional 1% mAP improvement compared to FPN and reaching 46% mAP with the similar inference time of MaskRCNN.

研究の動機と目的

• 既存のNAS手法がバックボーンやネックといった単一のコンponentに焦点を当てており、全体の検出パイプラインを包括的に最適化しないという点を是正すること。
• まず効率的なモジュールコンビネーションを特定し、次に個々のモジュールを最適化する、粗い段階から細かい段階への探索戦略を開発すること。
• ImageNetの事前学習やプロキシタスクに依存せず、検出データセット上で直接学習を開始できる仕組みを提供すること。
• 入力サイズ、モジュールコンビネーション、内部アーキテクチャを統合的に考慮することで、実ハードウェア上で最適なスピード・アキュラシーのトレードオフを達成すること。
• COCO、VOC、BDDといった多様なデータセットにわたる、探索されたアーキテクチャの転送可能性とロバスト性を示すこと。

提案手法

• 2段階の探索パイプライン：まず構造レベルでの探索で、最適なモジュールコンビネーション（バックボーン、ネック、RPN、ヘッド）と入力サイズを特定し、次にモジュールレベルでの探索で個々のコンponentsを最適化する。
• 推論遅延とmAPの両方を最適化する多目的NASで、効率的でタスク固有の設計のパレートフロントを生成する。
• 大規模な探索空間を効率的に探索するための部分順序プルーニングを施した遺伝的アルゴリズム。
• 探索プロセスを並列化・高速化する分散トレーニングシステム。
• グループ正規化、重み標準化、大きなバッチサイズ、高い初期学習率を用いた、新規のトレーニング戦略により、検出ネットワークを直接から効果的に学習可能にする。
• ImageNetの事前学習を一切使用せず、検出データセット（COCO、VOC、BDD）上で直接探索することで、タスク固有のアーキテクチャ最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モジュールコンビネーションと内部アーキテクチャを同時に最適化する包括的NASフレームワークは、オブジェクト検出において、個別コンponentの最適化に比べて優れた性能を発揮できるか？
• RQ2 ImageNetの事前学習やプロキシタスクを回避する探索戦略を用いて、検出ネットワークを直接から学習可能か？
• RQ3 入力サイズ、モジュールコンビネーション、内部アーキテクチャ設計が、リアルタイムオブジェクト検出におけるスピード・アキュラシーのトレードオフにどのように影響を与えるか？
• RQ4 COCOで探索されたアーキテクチャが、他のデータセット（例：VOC、BDD）にどれほど一般化可能か？
• RQ5 パレート最適な検出器において、どのようなアーキテクチャパターンが出現するか？また、FLOPs制約下で、深さ、幅、チャネル分布とmAPの相関関係はいかなるものか？

主な発見

• SM-NASは、COCOでFPNよりも1%のmAP向上を達成するとともに、推論時間を半減させ、優れたスピード・アキュラシーのトレードオフを実現した。
• E2モデルは、Mask R-CNNと同等の遅延で46%のmAPを達成し、スピードとアキュラシーの両面でそれを上回った。
• Pascal VOCでは、E0が推論時間を44%短縮（21.5ms vs. 38.4ms）し、mAPを80.4%から81.4%に向上させた。
• BDDでは、E3がResNet-101を搭載したFPNよりも17.4ms速く推論を完了させ、mAPを36.9%から39.6%に向上させた。
• 探索プロセスにより、最適なアーキテクチャは、FLOPs制約下で、初期段階で浅めの深さと高いチャネル容量を好む傾向があることが特定された。また、高レベルの段階では長めの構造が好まれる。
• グループ正規化、重み標準化、大きなバッチサイズ、高い学習率を用いたトレーニング戦略により、COCOで16エポックで37.5%のmAPを達成するなど、直接からの学習が効果的に可能となった。