[論文レビュー] MobileDets: Searching for Object Detection Architectures for Mobile Accelerators

Yunyang Xiong, Hanxiao Liu+8 more|arXiv (Cornell University)|Apr 30, 2020

Advanced Neural Network Applications参考文献 44被引用数 41

ひとこと要約

MobileDets は regular convolutions を inverted bottlenecks と共に含むプラットフォーム認識 NAS 検索空間を導入し、CPU、EdgeTPU、DSP、エッジGPU でのモバイル物体検出における遅延-精度の最適化トレードオフを最新に達成する。

ABSTRACT

Inverted bottleneck layers, which are built upon depthwise convolutions, have been the predominant building blocks in state-of-the-art object detection models on mobile devices. In this work, we investigate the optimality of this design pattern over a broad range of mobile accelerators by revisiting the usefulness of regular convolutions. We discover that regular convolutions are a potent component to boost the latency-accuracy trade-off for object detection on accelerators, provided that they are placed strategically in the network via neural architecture search. By incorporating regular convolutions in the search space and directly optimizing the network architectures for object detection, we obtain a family of object detection models, MobileDets, that achieve state-of-the-art results across mobile accelerators. On the COCO object detection task, MobileDets outperform MobileNetV3+SSDLite by 1.7 mAP at comparable mobile CPU inference latencies. MobileDets also outperform MobileNetV2+SSDLite by 1.9 mAP on mobile CPUs, 3.7 mAP on Google EdgeTPU, 3.4 mAP on Qualcomm Hexagon DSP and 2.7 mAP on Nvidia Jetson GPU without increasing latency. Moreover, MobileDets are comparable with the state-of-the-art MnasFPN on mobile CPUs even without using the feature pyramid, and achieve better mAP scores on both EdgeTPUs and DSPs with up to 2x speedup. Code and models are available in the TensorFlow Object Detection API: https://github.com/tensorflow/models/tree/master/research/object_detection.

研究の動機と目的

• モダンな加速器上で inverted bottlenecks (IBNs) だけでなく、モバイル検出器のビルディングブロックを再評価する必要性を動機づける。
• latency-accuracy を改善するために regular convolution と Tucker ベースのブロックを含む拡張検索空間（MobileDet）を提案する。
• 物体検出タスク上で直接のアーキテクチャ検索が、モバイルハードウェア向けのバックボーンだけの NAS より良い結果を生むことを示す。
• MobileDets が複数のハードウェアプラットフォームで低遅延時の最先端または競争力のある mAP を達成することを示す。
• より広範な採用のために TensorFlow Object Detection API 内でリリース可能なコードとモデルを提供する。

提案手法

• IBN を regular convolution（Fused Inverted Bottleneck および Tucker/convolution_blocks）で拡張する MobileDet 検索空間を導入する。
• 柔軟な二つのビルディングブロックを説明する： (i) fused inverted bottleneck（depthwise+pointwise の代替となる regular KxK conv）と (ii) Tucker convolution（1x1、KxK、1x1 ブロックによる圧縮）。
• これらのブロックを latency-aware なニューラルアーキテクチャ探索（NAS）フレームワーク（TuNAS）に組み込み、mAP と latency を組み合わせたプラットフォーム認識の報酬を用いる。
• c(·) というコストモデルを訓練し、レイヤ決定からハードウェア遅延を予測し、すべての候補についてデバイス上のベンチマークを行わずに高速な NAS を可能にする。
• 検出特有の目的（SSDLite ヘッド）で COCO を探索し、ターゲットハードウェアごとに最終アーキテクチャをゼロから再訓練して評価する。
• TF-Lite、EdgeTPU、DSP、GPU のバックエンドを用いた遅延ベンチマークを報告する。

実験結果

リサーチクエスチョン

• RQ1 さまざまなハードウェア間で、NAS によって strategic に配置された regular convolution はモバイル物体検出の遅延-精度のトレードオフを改善できるのか。
• RQ2 IBN レイヤを超えて（融合された regular convolution および Tucker ブロックを含む）検索空間を拡張すると、CPU、EdgeTPU、DSP、GPU で測定可能な利得が得られるのか。
• RQ3 あるハードウェアプラットフォームで発見されたアーキテクチャは他のプラットフォームへ転用可能か、転用可能性はどの程度か。
• RQ4 COCO に対する検出特化の NAS（ backbone だけの NAS ではなく）が、複数のエッジデバイスでどの程度の性能を発揮するか。
• RQ5 提案された MobileDet 空間は見たことのないハードウェア（例：NVIDIA Jetson GPU）へ一般化しても利得を維持できるか。

主な発見

• MobileDets は、IBN のみの探索空間に基づくベースラインと比較して、CPU、EdgeTPU、DSP、エッジGPU の遅延-精度トレードオフを一貫して改善する。
• COCO で、MobileDets は同等の CPU 遅延で MobileNetV2+SSDLite より 1.7 mAP、モバイル CPU で MobileNetV2 より 1.9 mAP、EdgeTPU で 3.7 mAP、DSP で 3.4 mAP、エッジ GPU で 2.7 mAP を向上させ、遅延を増やさずに済む。
• MobileDets はモバイル CPU 上で MnasFPN の性能と競合する、あるいはそれを上回り、EdgeTPU および DSP でより良い mAP を 2 倍のスピードアップまで達成することがある（NAS-FPN ヘッドがなくても）。
• 検索空間に regular convolution を含めると、深さ方向畳み込みが最適化されにくい EdgeTPU、DSP などの非 CPU アクセラレータで顕著な利得を生む。
• EdgeTPU/DSP で発見されたアーキテクチャは、見られていないハードウェア（例：NVIDIA Jetson Xavier GPU）へ移行しても妥当な転用性を示し、MobileDet 空間の一般性を示す。
• Tucker 圧縮と融合ブロック（IBN+Fused+Tucker）を含む検索空間は、IBN のみや小さな空間より非 CPU ハードウェアで追加の性能利得を提供する。