[論文レビュー] Distilling Object Detectors with Feature Richness

Zhixing Du, Rui Zhang+5 more|arXiv (Cornell University)|Nov 1, 2021

Advanced Neural Network Applications参考文献 31被引用数 36

ひとこと要約

本研究では、境界ボックスの外側の特徴を活用し、ボックス内の誤分類を絞り込むことで、物体検出器の蒸留に有益な特徴を選択する Feature Richness Score (FRS) を提案し、アンカー型・アンカーなし・2段階検出器の全タイプで改善を示します。

ABSTRACT

In recent years, large-scale deep models have achieved great success, but the huge computational complexity and massive storage requirements make it a great challenge to deploy them in resource-limited devices. As a model compression and acceleration method, knowledge distillation effectively improves the performance of small models by transferring the dark knowledge from the teacher detector. However, most of the existing distillation-based detection methods mainly imitating features near bounding boxes, which suffer from two limitations. First, they ignore the beneficial features outside the bounding boxes. Second, these methods imitate some features which are mistakenly regarded as the background by the teacher detector. To address the above issues, we propose a novel Feature-Richness Score (FRS) method to choose important features that improve generalized detectability during distilling. The proposed method effectively retrieves the important features outside the bounding boxes and removes the detrimental features within the bounding boxes. Extensive experiments show that our methods achieve excellent performance on both anchor-based and anchor-free detectors. For example, RetinaNet with ResNet-50 achieves 39.7% in mAP on the COCO2017 dataset, which even surpasses the ResNet-101 based teacher detector 38.9% by 0.8%. Our implementation is available at https://github.com/duzhixing/FRS.

研究の動機と目的

• bounding boxesを超えた情報価値のある特徴に焦点を当てた物体検出器の蒸留の動機づけ。
• すべての領域で物体のような特徴を識別する Feature Richness Score (FRS) の提案。
• アンカー型/アンカーなしと2段階検出器の双方に適用可能なプラグ＆プレイ型蒸留フレームワークの実証。
• ボックス外の情報を活用し、ボックス内の誤分類特徴を減少させることで、一般化可能な検出能力を向上させる。

提案手法

• 教師分類スコアを用いて、特徴 richness S をカテゴリの最大値として定義（P(c|f, theta) の最大）
• 対応する教師分類スコアから各階層の特徴 richness マスク S_l を計算
• マスクを用いてピクセル単位の蒸留損失に重み付けを行い、FPN レイヤー（L_FPN）と分類ヘッド（L_head）の蒸留を実施
• 標準的な GT 損失と組み合わせて損失を統合：L = L_GT + alpha L_FPN + beta L_head

実験結果

リサーチクエスチョン

• RQ1 境界ボックスの外側にある特徴 rich な領域は、物体検出器の蒸留に有益なガイダンスを提供できるか。
• RQ2 ピクセル単位の特徴 richness マスクで蒸留を重み付けすることは、検出器の種類を問わず学生モデルの性能を改善するか。
• RQ3 FRS は COCO においてアンカー型、アンカーなし、2段階検出器でどの程度効果を発揮するか。
• RQ4 ボックス外の特徴とボックス内の誤ラベル特徴は、蒸留の品質にどの程度影響するか。

主な発見

モード	mAP	AP50	AP75	AP_S	AP_M	AP_L
Retina-Res101(teacher) 2x	38.9	58.0	41.5	21.0	42.8	52.4
Retina-Res50(student) 2x	37.4	56.7	39.6	20.0	40.7	49.7
ours 2x	39.7	58.6	42.4	21.8	43.5	52.4

• FRS は RetinaNet、GFL、FCOS、Faster R-CNN において、教師モデル ResNet-101 を用い、学生モデルを ResNet-50 とした場合に改善を示す。
• RetinaNet-Res50（2x スケジュール）で 39.7% mAP を達成し、教師の 38.9% を 0.8% 上回る。
• GFL-Res50（1x）でベースラインから 3.4%mAP の改善；2x では一部設定で 1.8–4.2% の向上を複数指標で達成。
• FCOS-Res50（2x）で 40.9% mAP を達成し、教師の性能を上回る。
• アブレーションにより、FPN と分類ヘッドの蒸留の両方が寄与し、組み合わせで最大 2.3% mAP の改善を達成。
• 定性的およびエントロピー分析は、TP+FP 領域（ボックス外の情報量豊富な領域）が蒸留に特に有益であることを示す。