[論文レビュー] Localization Distillation for Dense Object Detection

Zhaohui Zheng, Rongguang Ye+5 more|arXiv (Cornell University)|Feb 24, 2021

Advanced Neural Network Applications参考文献 64被引用数 6

ひとこと要約

本稿では、教師モデルから生徒モデルへの局所化知識を効率的に転送するために、境界ボックス回帰を確率分布一致に再定式化する新しい知識蒸留法であるLocalization Distillation (LD) を提案する。特徴の模倣に依存する従来の手法とは異なり、意味的知識と局所化知識を分離し、選択的知識転送を可能にする価値ある局所化領域（VLR）を導入することで、推論コストを増加させることなく、COCOでResNet-50を用いた単一スケール1×スケジュール下でAPを40.1から42.1まで向上させ、最先端の性能を達成した。

ABSTRACT

Knowledge distillation (KD) has witnessed its powerful capability in learning compact models in object detection. Previous KD methods for object detection mostly focus on imitating deep features within the imitation regions instead of mimicking classification logit due to its inefficiency in distilling localization information and trivial improvement. In this paper, by reformulating the knowledge distillation process on localization, we present a novel localization distillation (LD) method which can efficiently transfer the localization knowledge from the teacher to the student. Moreover, we also heuristically introduce the concept of valuable localization region that can aid to selectively distill the semantic and localization knowledge for a certain region. Combining these two new components, for the first time, we show that logit mimicking can outperform feature imitation and localization knowledge distillation is more important and efficient than semantic knowledge for distilling object detectors. Our distillation scheme is simple as well as effective and can be easily applied to different dense object detectors. Experiments show that our LD can boost the AP score of GFocal-ResNet-50 with a single-scale 1x training schedule from 40.1 to 42.1 on the COCO benchmark without any sacrifice on the inference speed. Our source code and trained models are publicly available at https://github.com/HikariTJU/LD

研究の動機と目的

• 従来の知識蒸留（KD）手法が、特に特徴模倣に依存し、局所化知識を無視するという点で、密度的物体検出において非効率であるという問題に対処すること。
• 従来、物体検出では効果がなかったと見なされていたログットミミキングが、適切に再定式化されれば、特徴ベースの蒸留を上回る可能性があるかを調査すること。
• 領域固有の有用性に基づいて意味的知識と局所化知識を効率的に選択的に蒸留するメカニズムを開発すること。
• 物体検出器の精度向上において、局所化知識の蒸留が意味的知識の蒸留よりも重要かつ効果的であるかを示すこと。
• 推論オーバーヘッドを追加せずに、さまざまな密度的物体検出器に適用可能なプラグアンドプレイ型の蒸留手法を構築すること。

提案手法

• 境界ボックスをデルタ関数ではなく確率分布として表現することで、物体検出の蒸留を再定式化し、より豊かな局所化知識の転送を可能にする。
• 教師モデルと生徒モデルの予測境界ボックスの確率分布を一致させる、新しいLocalization Distillation (LD) モジュールを提案する。
• 局所化知識転送に最も有益な領域を特定・優先化するためのヒューリスティック手法として、価値ある局所化領域（VLR）の概念を導入する。
• 知識蒸留を二つの独立したストリームに分離する：意味的知識は標準的なログットミミキングで、局所化知識はLDで処理し、空間的に別々の領域に適用する。
• LDをVLRが特定した高価値領域にのみ適用する別々の蒸留領域戦略を採用することで、訓練の効率性と性能を向上させる。
• アーキテクチャの変更や追加パラメータなしに、既存の密度的検出器（例：GFocal、RetinaNet、FCOS）にLDをスムーズに統合する。

Figure 2 : Existing KD pipelines for object detection. ① Logit Mimicking: classification KD in [ 20 ] . ② Feature Imitation: recent popular methods distill intermediate features based on various distillation regions, which usually need adaptive layers to align the size of the student’s feature map.

実験結果

リサーチクエスチョン

• RQ1 従来、物体検出では効果がなかったと見なされていたログットミミキングが、適切に再定式化されれば、特徴ベースの蒸留を上回る可能性があるか？
• RQ2 物体検出器の性能向上において、局所化知識の蒸留が意味的知識の蒸留よりも重要かつ効率的であるか？
• RQ3 価値ある局所化領域に基づく選択的蒸留戦略が、物体検出における知識蒸留の効率性と正確性を向上させられるか？
• RQ4 意味的知識と局所化知識の転送を分離することで、特徴マップ上で統合的・ハイブリッドな蒸留よりも優れた性能が得られるか？
• RQ5 LDが推論オーバーヘッドを追加せずに、さまざまな密度的物体検出器に普遍的に適用可能であり、一貫した性能向上を実現できるか？

主な発見

• 局所化に適切に再定式化されたログットミミキングは、従来の特徴模倣手法を上回る性能を示す。
• 物体検出器の性能向上において、局所化知識の蒸留は意味的知識の蒸留よりも効果的かつ効率的である。
• 提案されたLD手法により、GFocal-ResNet-50のCOCOにおけるAPスコアが、単一スケール1×トレーニングスケジュール下で40.1から42.1に向上し、+2.0のAP向上を達成した。
• マルチスケール2×スケジュール下では、LDによりResNeXt-101-32x4d-DCNバックボーンを搭載したGFocalV2がCOCO test-dev 2019で50.5 APに到達し、同条件下のすべての既存検出器を上回った。
• モデルパラメータや推論時間を増加させることなく、複数の密度的検出器（例：RetinaNet、FCOS、ATSS）において、約2 APの一貫した向上を達成した。
• VLR機構は、局所化学習に最も有益な領域を効果的に同定し、選択的かつ効率的な蒸留を可能にした。

Figure 3 : Illustration of localization distillation (LD) for an edge $e\in\mathcal{B}=\{t,b,l,r\}$ . Only the localization branch is visualized here. $\mathcal{S}(\cdot,\tau)$ is the generalized SoftMax function with temperature $\tau$ . For a given detector, we first switch the bounding box repres