[論文レビュー] Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Feature Imitation

Gang Li, Xiang Li+4 more|arXiv (Cornell University)|Dec 9, 2021

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、物体検出における知識蒸留のためのランク模倣（RM）と予測誘導型特徴模倣（PFI）を提案し、教師モデルと生徒モデルの間の行動的ギャップを解消する。RMは教師から生徒へのアンカー順位知識を転送する。一方PFIは予測差を用いて効率的な特徴模倣を誘導し、RetinaNet-ResNet50を用いてMS COCOで40.4%のmAPを達成し、従来手法を最大0.7% AP上回る。

ABSTRACT

Knowledge Distillation (KD) is a widely-used technology to inherit information from cumbersome teacher models to compact student models, consequently realizing model compression and acceleration. Compared with image classification, object detection is a more complex task, and designing specific KD methods for object detection is non-trivial. In this work, we elaborately study the behaviour difference between the teacher and student detection models, and obtain two intriguing observations: First, the teacher and student rank their detected candidate boxes quite differently, which results in their precision discrepancy. Second, there is a considerable gap between the feature response differences and prediction differences between teacher and student, indicating that equally imitating all the feature maps of the teacher is the sub-optimal choice for improving the student's accuracy. Based on the two observations, we propose Rank Mimicking (RM) and Prediction-guided Feature Imitation (PFI) for distilling one-stage detectors, respectively. RM takes the rank of candidate boxes from teachers as a new form of knowledge to distill, which consistently outperforms the traditional soft label distillation. PFI attempts to correlate feature differences with prediction differences, making feature imitation directly help to improve the student's accuracy. On MS COCO and PASCAL VOC benchmarks, extensive experiments are conducted on various detectors with different backbones to validate the effectiveness of our method. Specifically, RetinaNet with ResNet50 achieves 40.4% mAP in MS COCO, which is 3.5% higher than its baseline, and also outperforms previous KD methods.

研究の動機と目的

• 教師モデルと生徒モデルの間の行動的差が性能ギャップを生じる理由を特定すること。
• 従来の知識蒸留が物体検出で性能が劣る理由を、検出順位と特徴-予測整合性の主な不一致に起因することを特定し、それらを是正すること。
• アンカー順位知識を新たな蒸留ターゲットとして転送するランク模倣（RM）を提案すること。
• 予測差を動的重みとして用いることで、予測精度に合わせて特徴模倣を整列させる予測誘導型特徴模倣（PFI）を設計すること。
• 最小限のアーキテクチャ変更で、MS COCOおよびPASCAL VOCベンチマークで最先端の性能を達成すること。

提案手法

• ランク模倣（RM）は、教師モデルの候補ボックスの順位分布（分類スコアまたは予測ボックス品質に基づく）を生徒モデルに転送し、従来のソフトラベル蒸留を置き換える。
• PFIは、教師と生徒の予測差（P_dif）を用いて、どの特徴マップが模倣において最も重要であるかを示す位置別損失重み付け機構を導入する。
• 特徴差（F_dif）と予測差（P_dif）を計算し、P_difを適応的重みとして用いて、予測差が最大となる領域での特徴模倣を優先する。
• 標準的な蒸留学習プロトコルを用い、RetinaNetのような1段階検出器に、さまざまなバックボーンを組み合わせて適用する。
• 手作業で作成したマスクや教師データに基づく領域選択を避ける代わりに、モデルの行動に基づいて模倣を誘導する。
• 一般化を検証するため、MS COCOおよびPASCAL VOCでResNet-50、ResNet-101、ResNet-152バックボーンを用いて実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 教師モデルと比較して生徒モデルが類似した特徴応答を示すにもかかわらず、なぜ性能が劣るのか？
• RQ2 教師モデルと生徒モデルの間で候補検出の順位はどのように異なるのか？ その差を蒸留知識として活用できるか？
• RQ3 生徒-教師ペアにおける特徴応答差と予測差の関係は何か？
• RQ4 予測差を用いてより効果的かつ効率的な特徴模倣を誘導できるか？
• RQ5 ソフトラベル蒸留をランクベースの知識転送に置き換えることで、検出精度が向上するか？

主な発見

• ResNet50ベースのRetinaNetはMS COCOで40.4%のmAPを達成し、ベースラインから3.5%向上、DeFeat（従来のSOTA）を0.7%上回った。
• ランク模倣（RM）は従来のソフトラベル蒸留を常に上回り、分類スコアとボックス品質の両順位を模倣する際、最大1.4%のmAP向上を達成した。
• 予測誘導型特徴模倣（PFI）は、正例/負例サンプルやGTボックスなどの手作業マスクを上回り、最低0.5%のmAP向上を示し、優れた適応的模倣を実現した。
• PFIは、予測差が最大となる領域に特徴模倣を集中させることで、非効率な勾配更新を低減し、学習効率と精度を向上させた。
• PASCAL VOCでは、ResNet50ベースのRetinaNetのmAPを81.1%から82.2%に向上させ、最先端の性能を達成した。
• RoIAlignを用いない状況でも、GID、Fitnet、FGFIをそれぞれ0.5%、2.2%、1.0%上回った。