[論文レビュー] Localization Distillation for Object Detection

Zhaohui Zheng, Rongguang Ye+5 more|arXiv (Cornell University)|Apr 12, 2022

Advanced Neural Network Applications被引用数 14

ひとこと要約

本稿では、境界ボックスの分布を介して局所化知識を転送する新たな知識蒸留手法であるローカライゼーション・ディスティルレーション（LD）を提案する。これにより、ログィット模倣が従来の特徴類似よりも優れるようになる。価値ある局所化領域（VLR）を導入することで選択的蒸留が可能となり、推論速度に影響を与えず検出精度が向上し、MS COCO、PASCAL VOC、DOTAベンチマークで最先端のAP向上を達成した。

ABSTRACT

Previous knowledge distillation (KD) methods for object detection mostly focus on feature imitation instead of mimicking the prediction logits due to its inefficiency in distilling the localization information. In this paper, we investigate whether logit mimicking always lags behind feature imitation. Towards this goal, we first present a novel localization distillation (LD) method which can efficiently transfer the localization knowledge from the teacher to the student. Second, we introduce the concept of valuable localization region that can aid to selectively distill the classification and localization knowledge for a certain region. Combining these two new components, for the first time, we show that logit mimicking can outperform feature imitation and the absence of localization distillation is a critical reason for why logit mimicking underperforms for years. The thorough studies exhibit the great potential of logit mimicking that can significantly alleviate the localization ambiguity, learn robust feature representation, and ease the training difficulty in the early stage. We also provide the theoretical connection between the proposed LD and the classification KD, that they share the equivalent optimization effect. Our distillation scheme is simple as well as effective and can be easily applied to both dense horizontal object detectors and rotated object detectors. Extensive experiments on the MS COCO, PASCAL VOC, and DOTA benchmarks demonstrate that our method can achieve considerable AP improvement without any sacrifice on the inference speed. Our source code and pretrained models are publicly available at https://github.com/HikariTJU/LD.

研究の動機と目的

• 物体検出の知識蒸留において、長年にわたり特徴類似がログィット模倣を常に上回るとの一般的な信念に挑戦すること。
• ログィット模倣が長年にわたり物体検出で劣っていた理由、特に効果的な局所化知識転送の欠如に起因することを解明すること。
• 局所化不確実性を明示的にモデル化することで、ログィット模倣が特徴類似を上回ることを可能にする、シンプルかつ効果的な蒸留フレームワークの開発。
• 領域の重要度に基づいて分類および局所化知識を効果的に選択的に蒸留するための価値ある局所化領域（VLR）の概念を導入すること。
• LDと分類用KDの間の理論的関連性を確立し、最適化効果が同等であることを示すこと。

提案手法

• 教師モデルの境界ボックス分布を監視として用いることで、疑似境界ボックス回帰よりも豊かな局所化知識を転送するローカライゼーション・ディスティルレーション（LD）を提案する。
• 離散化された確率分布を用いて局所化の不確実性をモデル化し、平坦性と鋭さが不確実性を反映するようにすることで、より効果的な局所化知識の転送を可能にする。
• 重要度の高い領域に注目することで蒸留を集中化する価値ある局所化領域（VLR）の概念を導入し、効率性と性能の両方を向上させる。
• LDと分類用KDを統合されたログィット模倣フレームワークに組み合わせ、分類と局所化知識を別々に蒸留可能にする。
• 勾配スケーリング解析を用いて、LDがフォーカル損失と同様にログィット空間で勾配再重み付けを暗黙的に行っていることを示し、学習の安定性と収束性を向上させる。
• 教師出力の確率分布の線形結合を用いた分解により、最適化行動においてLDと分類用KDが理論的に同等であることを保証する。

Figure 1: Existing KD pipelines for object detection. ① Logit Mimicking: classification KD in [ 1 ] . ② Feature Imitation: recent popular methods distill intermediate features based on various distillation regions, which usually need adaptive layers to align the size of the student’s feature map. ③

実験結果

リサーチクエスチョン

• RQ1 画像分類では成功を収めているにもかかわらず、なぜ物体検出ではログィット模倣が特徴類似に劣っていたのか？
• RQ2 局所化知識が効果的に転送されれば、ログィット模倣が特徴類似を上回ることができるか？
• RQ3 局所化の不確実性はどのようにモデル化され、蒸留性能の向上に利用できるか？
• RQ4 選択的蒸留は、知識蒸留の効率性と正確性を向上させるために果たす役割は何か？
• RQ5 最適化ダイナミクスの観点から、局所化蒸留と分類用知識蒸留には理論的同等性があるか？

主な発見

• ローカライゼーション・ディスティルレーション（LD）により、物体検出において初めてログィット模倣が特徴類似を上回ることを実証した。これは、ログィット模倣が歴史的に劣っていた主な要因が局所化蒸留の欠如であったことを示している。
• MS COCO、PASCAL VOC、DOTAベンチマークにおいて、推論速度に変化がなくとも顕著なAP向上を達成した。これにより、本手法の効率性と有効性が裏付けられた。
• 価値ある局所化領域（VLR）の導入により、重要度の高い領域に注目することで蒸留性能が向上し、精度と学習安定性の両方が向上した。
• 理論的分析により、LDは分類用KDと同一の最適化効果を持つことが示され、学習ダイナミクスの同等性が検証され、堅固な理論的基盤が得られた。
• 勾配スケーリング解析により、LDがフォーカル損失と同様の勾配再重み付けを暗黙的に行っていることが明らかになった。これにより、初期段階での学習難易度が軽減され、収束性が向上した。
• 広範なアブレーションスタディにより、LDが局所化の不確実性を顕著に低減し、より頑健な特徴表現を学習し、学生モデルの一般化性能を向上させることを確認した。

Figure 2: Bottom edge for “ elephant ” and right edge for “ surfboard ” are ambiguous to locate.