[論文レビュー] D$^3$ETR: Decoder Distillation for Detection Transformer

Xiaokang Chen, Jiahui Chen+2 more|arXiv (Cornell University)|Nov 17, 2022

Advanced Neural Network Applications被引用数 5

ひとこと要約

本論文は、順序なしのトランスフォーマー・デコーダ出力を扱う課題に応じて、D³ETRを提案する。これは、適応的および固定マッチングを組み合わせたハイブリッドマッチング戦略であるMixMatcherを導入することで、教師モデルから学生モデルへの予測値および注意マップの知識蒸留を実現する。D³ETRは、予測値と注意マップの両方を蒸留することで、12エポック訓練時において、Conditional DETR-R50-C5を7.8 mAP向上させる最先端の性能を達成する。

ABSTRACT

While various knowledge distillation (KD) methods in CNN-based detectors show their effectiveness in improving small students, the baselines and recipes for DETR-based detectors are yet to be built. In this paper, we focus on the transformer decoder of DETR-based detectors and explore KD methods for them. The outputs of the transformer decoder lie in random order, which gives no direct correspondence between the predictions of the teacher and the student, thus posing a challenge for knowledge distillation. To this end, we propose MixMatcher to align the decoder outputs of DETR-based teachers and students, which mixes two teacher-student matching strategies, i.e., Adaptive Matching and Fixed Matching. Specifically, Adaptive Matching applies bipartite matching to adaptively match the outputs of the teacher and the student in each decoder layer, while Fixed Matching fixes the correspondence between the outputs of the teacher and the student with the same object queries, with the teacher's fixed object queries fed to the decoder of the student as an auxiliary group. Based on MixMatcher, we build extbf{D}ecoder extbf{D}istillation for extbf{DE}tection extbf{TR}ansformer (D$^3$ETR), which distills knowledge in decoder predictions and attention maps from the teachers to students. D$^3$ETR shows superior performance on various DETR-based detectors with different backbones. For example, D$^3$ETR improves Conditional DETR-R50-C5 by $ extbf{7.8}/ extbf{2.4}$ mAP under $12/50$ epochs training settings with Conditional DETR-R101-C5 as the teacher.

研究の動機と目的

• DETRベースの検出器における標準化された知識蒸留（KD）手法の欠如、特に順序なしのデコーダ出力に起因する課題に対処すること。
• デコーダ出力が置換不変性を示す場合に、教師と学生の予測値を適切にマッチングする課題を克服すること。
• DETRアーキテクチャのトランスフォーマー・デコーダに特化した、強固で効果的なKDフレームワークを開発すること。
• DETRベースの物体検出モデルにおけるKDのための新しいベースラインとレシピを確立すること。

提案手法

• 適応的マッチング（各デコーダ層ごとの二部マッチングによる）と固定マッチング（共通のオブジェクトクエリを補助入力として使用）を組み合わせたハイブリッドマッチング戦略であるMixMatcherを提案する。
• 各デコーダ層で最適な二部マッチングに基づき、教師と学生の予測値を動的に整合させる適応的マッチングを用いる。
• 教師の固定オブジェクトクエリを学生のデコーダに補助グループとして入力することで、固定マッチングを実装し、対応関係の安定化を図る。
• 最終予測値に加え、デコーダ層内の自己注意マップおよびクロス注意マップに対しても知識蒸留を実施する。
• 同じクエリからの教師と学生の出力間に一貫性を保証するため、固定マッチングに制約を適用する。
• 学生モデルを教師のパラメータで初期化する継承戦略を統合し、さらなる性能向上を実現する。

Figure 2 : Architecture of the proposed method. We propose the mixed teacher-student matching strategy that composes of two components, adaptative matching and fixed matching. We adopt two groups, where the first group feeds student queries to the decoder and the second feeds teacher queries to the

実験結果

リサーチクエスチョン

• RQ1 順序なしのデコーダ出力を持つDETRベースの検出器に対して、知識蒸留をどのように効果的に適用できるか？
• RQ2 DETRのデコーダにおいて、教師と学生モデル間の知識転送を安定化・向上させるために、最良のマッチング戦略は何か？
• RQ3 予測値に加え、注意マップの蒸留を実施することで、学生モデルの性能向上が顕著に得られるか？
• RQ4 適応的マッチングと固定マッチングの戦略を組み合わせることで、蒸留の安定性と精度にどのような影響を与えるか？
• RQ5 固定マッチング機構における補助的オブジェクトクエリおよび制約付き監視の使用が、性能に与える影響は何か？

主な発見

• Conditional DETR-R101-C5を教師モデルとして用いた場合、12エポック訓練時においてConditional DETR-R50-C5を7.8 mAP向上させ、50エポック訓練時では2.4 mAP向上を達成する。
• MixMatcherにおける適応的マッチングと固定マッチングの組み合わせが38.1 mAPを達成し、単独で使用した場合を上回る性能を示す。
• 固定マッチングに制約を追加すると、性能は38.1 mAPから38.1 mAPに向上するが、制約を削除すると性能は37.0 mAPに低下する。
• 可視化結果から、D³ETRで訓練された学生モデルは、教師と類似したより正確な空間的注意パターンを学習していることが確認された。
• D³ETRはCOCOで40.2 mAPを達成し、通常の50エポック訓練によるConditional DETR-R50-C5（40.9 mAP）と同等の性能を示した。
• D³ETRとMGDを組み合わせることで、さらに性能が向上し38.8 mAPを達成した。これにより、他のKD手法とも互換性があることが示された。

Figure 3 : Analysis of different components in Conditional DETR. We adopt ResNet- $101$ /ResNet- $50$ as the backbone and train the model for $12$ epochs (1 $\times$ schedule). Best viewed in color.