[論文レビュー] MnasFPN: Learning Latency-aware Pyramid Architecture for Object Detection on Mobile Devices

Bo Chen, Golnaz Ghiasi+5 more|arXiv (Cornell University)|Dec 2, 2019

Advanced Neural Network Applications参考文献 38被引用数 9

ひとこと要約

この論文では、逆残差ブロックと遅延感知探索を統合した、オブジェクト検出ヘッド向けのモバイル最適化ニューラルアーキテクチャ探索空間MnasFPNを提案する。実デバイスの遅延を指標にした強化学習コントローラーで訓練されたMnasFPNは、SSDLiteに比べて1.8 mAPの向上を達成し、Pixelデバイス上ではNAS-FPNLiteに比べ10%高速な推論を実現。パラメータ数を低く保ちながら、非バックボーン部分の遅延を25%削減した。

ABSTRACT

Despite the blooming success of architecture search for vision tasks in resource-constrained environments, the design of on-device object detection architectures have mostly been manual. The few automated search efforts are either centered around non-mobile-friendly search spaces or not guided by on-device latency. We propose MnasFPN, a mobile-friendly search space for the detection head, and combine it with latency-aware architecture search to produce efficient object detection models. The learned MnasFPN head, when paired with MobileNetV2 body, outperforms MobileNetV3+SSDLite by 1.8 mAP at similar latency on Pixel. It is also both 1.0 mAP more accurate and 10% faster than NAS-FPNLite. Ablation studies show that the majority of the performance gain comes from innovations in the search space. Further explorations reveal an interesting coupling between the search space design and the search algorithm, and that the complexity of MnasFPN search space may be at a local optimum.

研究の動機と目的

• モバイルデバイスにおけるオブジェクト検出ヘッド向けに、自動的かつ遅延を考慮したアーキテクチャ探索が不足しているという問題に取り組む。
• 深度分離畳み込みや逆残差など効率的な演算をサポートする、モバイル特化の探索空間を設計する。
• 検出ヘッドと実デバイス上の遅延を同時に最適化することで、モバイルオブジェクト検出における精度と速度のトレードオフを改善する。
• NASにおけるモバイル検出において、探索空間の設計が探索アルゴリズムの選択と同等に重要であることを示す。
• エンドツーエンドの遅延感知アーキテクチャ探索により、エッジデバイス上で効率的かつ高性能なオブジェクト検出を実現する。

提案手法

• モバイルCPUに最適化された、逆残差ブロックと構造的特徴統合演算を組み込んだ検出ヘッド用の探索空間MnasFPNを提案する。
• 実デバイス上の遅延測定値に基づいて訓練された、遅延感知アーキテクチャ探索フレームワークを導入。強化学習を用い、コントローラーが遅延とmAPのトレードオフを最適化する。
• 深さ方向分離畳み込みとポイントワイド1x1畳み込みを統合した、構造的ダウンサンプリング操作（SDO）を導入。特徴統合時の計算コストを低減する。
• mAPと遅延のトレードオフを報酬関数として用いた、コントローラーに基づく強化学習によるMnasFPN探索空間内探索を実施。
• モデルサイズと遅延を制御するための幅乗数および深さ乗数戦略を採用。SSDLiteやNAS-FPNLiteとの公平な比較を可能にする。
• SDO、探索空間設計、コントローラー行動の影響を評価するためのアブレーションスタディを実施。

実験結果

リサーチクエスチョン

• RQ1 検出ヘッド向けにモバイル最適化された探索空間は、従来の手作業設計や遅延を考慮しないアプローチに比べ、精度と遅延の両面で顕著な向上を達成できるか？
• RQ2 逆残差ブロックと構造的ダウンサンプリング操作の統合は、モバイルオブジェクト検出における性能にどのような影響を与えるか？
• RQ3 遅延感知探索は、精度のみを最適化する探索に比べて、モバイル検出ヘッド設計においてどの程度優れているか？
• RQ4 性能向上の主な要因は探索空間の設計にあるのか、それとも探索アルゴリズムそのものにあるのか？
• RQ5 コントローラーに基づくNASフレームワークは、複雑で非順序的な検出ヘッドアーキテクチャを効果的に探索でき、有意義な効率向上を実現できるか？

主な発見

• MobileNetV2をバックボーンとして使用したMnasFPNは、COCO test-devで183msの遅延で26.1 mAPを達成。NAS-FPNLiteに比べ1.0 mAPの向上と10%高速なエンドツーエンド遅延を実現。
• MobileNetV3をバックボーンとして使用したMnasFPNは、168msで25.5 mAPを達成。MobileNetV2を用いたSSDLiteに比べ3.4 mAP、MnasNet-A1を用いたSSDLiteに比べ2.5 mAPの向上を達成。
• 約120msの遅延で、MobileNetV2と0.7の幅乗数を用いたMnasFPNは、MobileNetV3を用いたSSDLiteに比べ1.8 mAPの向上を達成。SSDLiteがチャネルハーフングテクニックを適用しても同様の結果を示した。
• アブレーションスタディの結果、SDOはmAPに影響を与えずに遅延を8–11ms（4–6%）削減。これは、ヘッド部分の遅延の12–14%がSDOによって最適化可能であることを示している。
• 探索空間設計が極めて重要であることが確認された。SDOを無効化するか、重要なアーキテクチャ的要素を削除すると、mAPに影響を与えることなく遅延が著しく増加。MnasFPN設計の有効性を裏付けた。
• MnasFPNの非バックボーン部分の遅延はNAS-FPNLiteに比べ25%低く、検出ヘッドが今や性能のボトルネックとなっていることが示された。今後の研究では、バックボーンとヘッドを同時に最適化するアプローチが有望である。