[論文レビュー] MimicDet: Bridging the Gap Between One-Stage and Two-Stage Object Detection

Xin Lu, Quanquan Li+2 more|arXiv (Cornell University)|Sep 24, 2020

Advanced Neural Network Applications参考文献 36被引用数 12

ひとこと要約

MimicDetは、1段階検出器と2段階検出器の精度格差を埋めるために、共通のバックボーンと二重ヘッド（1段階：学生、2段階：教師）を用いた新しい1段階物体検出フレームワークを提案する。教師ヘッドは高品質な2段階特徴を直接模倣することで、1段階検出器の性能を向上させる。ResNeXt-101-64×4dを用いたCOCO上でのmAPは46.1を達成し、事前学習を必要としないエンドツーエンド学習が可能であり、最先端の1段階検出器を上回る性能を発揮する。

ABSTRACT

Modern object detection methods can be divided into one-stage approaches and two-stage ones. One-stage detectors are more efficient owing to straightforward architectures, but the two-stage detectors still take the lead in accuracy. Although recent work try to improve the one-stage detectors by imitating the structural design of the two-stage ones, the accuracy gap is still significant. In this paper, we propose MimicDet, a novel and efficient framework to train a one-stage detector by directly mimic the two-stage features, aiming to bridge the accuracy gap between one-stage and two-stage detectors. Unlike conventional mimic methods, MimicDet has a shared backbone for one-stage and two-stage detectors, then it branches into two heads which are well designed to have compatible features for mimicking. Thus MimicDet can be end-to-end trained without the pre-train of the teacher network. And the cost does not increase much, which makes it practical to adopt large networks as backbones. We also make several specialized designs such as dual-path mimicking and staggered feature pyramid to facilitate the mimicking process. Experiments on the challenging COCO detection benchmark demonstrate the effectiveness of MimicDet. It achieves 46.1 mAP with ResNeXt-101 backbone on the COCO test-dev set, which significantly surpasses current state-of-the-art methods.

研究の動機と目的

• 1段階検出器の効率的利点にもかかわらず、1段階と2段階検出器の間で長年の精度格差が存在するという問題を解消すること。
• 教師・学生ネットワークが非同型で事前学習を要する従来の知識蒸留の制限を克服すること。
• 別個の教師モデルを事前学習せず、2段階特徴を直接模倣することで1段階検出器のエンドツーエンド学習を可能にすること。
• 大規模バックボーンをサポートし、高い推論速度を維持する実用的で効率的なフレームワークを設計すること。
• 構造的および特徴レベルの模倣により、1段階検出器における特徴の不整合とクラス不均衡問題を解消すること。

提案手法

• 1段階（学生）および2段階（教師）検出ヘッドの両方に共通のバックボーンを用いることで、共同最適化が可能となり、別個の教師モデルの事前学習が不要になる。
• 2段階ヘッド（Tヘッド）は大規模なパラメータ数を有し、RoIAlignに類似した処理を用いてスパースなプロポーザルに対して高品質で位置整合性のある特徴を抽出する。
• 1段階ヘッド（Sヘッド）はすべてのアンカーボックスに対して密度予測を実行し、効率性と高速性を維持する。
• ガイド付き可変畳み込みを用いて、学生と教師ヘッド間の特徴を整列させ、異なるプロポーザルサンプリング戦略に起因する空間的不整合を低減する。
• 二重パス模倣と段階的特徴ファイバーを導入することで、特徴伝達を強化し、知識蒸留の忠実度を向上させる。
• ResNeXt-101などの大規模バックボーンの効果的利用が可能であり、追加の推論コストなしにエンドツーエンド学習が可能である。

実験結果

リサーチクエスチョン

• RQ1 事前に教師モデルを学習せず、2段階特徴を直接模倣することで、1段階検出器が2段階レベルの精度に到達できるか？
• RQ2 知識蒸留の過程で、1段階と2段階検出器間の特徴不整合を効果的に緩和できるか？
• RQ3 共通バックボーンと二重ヘッドを有する統合学習フレームワークが、既存の1段階検出器を上回る精度を発揮するか、かつ推論効率を維持できるか？
• RQ4 二重パス模倣や段階的特徴ファイバーといったアーキテクチャ的要素が蒸留性能に与える影響は何か？
• RQ5 MimicDetの学習効率は、別個の教師・学生学習を要する従来の知識蒸留パイプラインと比較してどうか？

主な発見

• ResNeXt-101-64×4dを用いたCOCO test-devでは46.1 mAPを達成し、FCOS（43.2 mAP）やAlignDet（42.0 mAP）といった最先端の1段階検出器を顕著に上回る。
• ResNet-101を用いた場合、44.4 mAPを達成し、同じバックボーンと入力サイズ下でRetinaNet（39.1 mAP）やFSAF（40.9 mAP）を上回る。
• 別個のバックボーンベースラインと比較して、学習時間を約50％短縮し、ResNet-101では22時間（別個学習時47時間）を達成する。
• 1台のTITAN V GPUで、入力サイズ600px、ResNet-50を用いると23 FPS、mAPは38.7を達成し、入力サイズ800px、ResNet-101を用いると13 FPS、mAPは41.8を達成する。
• 速度-精度トレードオフは有利である：入力サイズを600pxから800pxに増加させることでmAPは3.1ポイント向上（38.7から41.8）し、遅延はわずか19ms増加にとどまる。
• アブレーションスタディの結果、二重パス模倣と段階的特徴ファイバーが、特に特徴不整合の低減とプロポーザル品質の向上に寄与し、蒸留性能を顕著に向上させていることが確認された。