[論文レビュー] Instance-Conditional Knowledge Distillation for Object Detection

Zijian Kang, Peizhen Zhang+3 more|arXiv (Cornell University)|Oct 25, 2021

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本論文では、インスタンスに依存する知識蒸留（ICD）という新しいフレームワークを提案する。このフレームワークは、インスタンスに敏感なアテンションを用いて、教師から学生検出器への知識を選択的に蒸留することで、局所化と分類の両方の性能を向上させる。各オブジェクトインスタンスをクエリとして扱い、関連する特徴をアテンションで重み付けすることで、ICDはCOCOで3.3 mAPの向上を達成し、ResNet-50をバックボーンとする学生モデルがResNet-101をバックボーンとする教師モデルを上回る。

ABSTRACT

Knowledge distillation has shown great success in classification, however, it is still challenging for detection. In a typical image for detection, representations from different locations may have different contributions to detection targets, making the distillation hard to balance. In this paper, we propose a conditional distillation framework to distill the desired knowledge, namely knowledge that is beneficial in terms of both classification and localization for every instance. The framework introduces a learnable conditional decoding module, which retrieves information given each target instance as query. Specifically, we encode the condition information as query and use the teacher's representations as key. The attention between query and key is used to measure the contribution of different features, guided by a localization-recognition-sensitive auxiliary task. Extensive experiments demonstrate the efficacy of our method: we observe impressive improvements under various settings. Notably, we boost RetinaNet with ResNet-50 backbone from 37.4 to 40.7 mAP (+3.3) under 1x schedule, that even surpasses the teacher (40.4 mAP) with ResNet-101 backbone under 3x schedule. Code has been released on https://github.com/megvii-research/ICD.

研究の動機と目的

• オブジェクト検出における知識蒸留の不均衡さと曖昧さを解消すること。特に、異なる空間的位置からの特徴が検出性能に均等に寄与するのではなく、不均等に寄与する点に焦点を当てる。
• 各検出インスタンスに最も関連する知識を明示的に特定し、それを転送することで、特徴全体に均一に適用する蒸留ではなく、質の高い蒸留を実現すること。
• 教師ネットワークの中間表現から、インスタンス固有の知識を動的に取得できる、学習可能なクエリベースのメカニズムを開発すること。
• 局所化と認識に敏感な補助タスクを最適化することで、知識の取得プロセスを最適化し、デコーダーが有用な特徴を特定する能力を高めること。
• リソース制約下でも、小さな学生検出器が、より大きな教師モデルを上回る精度を達成できるようにすること。

提案手法

• 各検出オブジェクトインスタンスをクエリとして埋め込み、教師の特徴マップ（キーおよびバリューとして使用）を介してアテンションを計算する条件付きデコーディングモジュールを導入する。
• インスタンスに敏感なクロスアテンションを用いて、クエリ（オブジェクトインスタンス）と教師の特徴の間のアテンション重みを計算し、関連する特徴を効果的に取得する。
• アテンション機構が選択した重み付き特徴のみに知識蒸留を適用することで、各オブジェクトに最も関連する領域に焦点を当てる。
• デコーダーをガイドする補助タスクを設計：各インスタンスの分類とボクセル境界回帰を予測することで、アテンション機構を検出タスクの目的関数と一致させる。
• デコーダーを学生検出器とエンドツーエンドで訓練し、検出と補助的知識取得の両方の監視を組み合わせたマルチタスク損失関数を用いる。
• 本手法はさまざまな検出器と互換性があり、学生または教師ネットワークのアーキテクチャを変更する必要がない。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト検出における知識蒸留を、すべての特徴に均一に適用するのではなく、より選択的かつインスタンス固有のものにすることは可能か？
• RQ2 オブジェクトインスタンスをクエリとして用いる学習可能なアテンション機構は、蒸留知識の質と関連性を向上させることができるか？
• RQ3 検出の目的関数と一致するように知識取得をガイドする補助タスクを導入することで、ヒューリスティック的またはルールベースの特徴選択よりも性能が向上するか？
• RQ4 インスタンスに条件づけられた蒸留により、より小さな学生ネットワークが、大きな教師ネットワークをmAPで上回ることができるか？
• RQ5 標準的な検出パイプラインにこのような条件付きデコーディングモジュールを統合する際の計算コストとメモリコストはどの程度か？

主な発見

• RetinaNetにResNet-50をバックボーンとして用いた場合、MS-COCOで3.3 mAPの向上を達成し、1×スケジュール下でmAPを37.4から40.7に向上させた。
• 3×スケジュール下で、ResNet-50をバックボーンとする学生モデルが、ResNet-101をバックボーンとする教師モデル（40.4 mAP）を上回り、40.7 mAPを達成した。
• 提案されたインスタンスに依存するアテンション機構は、ベースラインから0.9 mAP、最良の代替アテンション手法から0.4 mAPの向上を示した。
• アブレーションスタディの結果、8つのアテンションヘッドが最良の性能を示し、段階的なデコーダーは最小限の向上しかもたらさなかった。これは、単一段階でデコーダーの能力が十分であることを示唆している。
• デコーダーの訓練コストは非常に小さい—8台のA100 GPUで1.3時間—実運用に実用的であることが確認された。
• 可視化により、異なるアテンションヘッドが異なるコンポONENT（例：顕著な部分、境界）に注目していることが確認され、モデルが意味的に関連する領域に焦点を当てる能力が裏付けられた。