[論文レビュー] Revisiting Knowledge Distillation for Object Detection

Amin Banitalebi-Dehkordi|arXiv (Cornell University)|May 22, 2021

Advanced Neural Network Applications参考文献 39被引用数 6

ひとこと要約

本論文は、教師モデルが生成する疑似ラベルを用いて未ラベルデータで学生モデルを事前学習し、その後ラベル付きデータで微調整する、分離型知識蒸留フレームワークを提案する。この手法により、ラベル付きデータを少なくても性能が向上し、重複しないオブジェクトクラスをカバーする複数教師の蒸留が可能となり、ドメイン適応も実現できる。未ラベルデータを組み合わせた場合、COCOで全ラベルの20％のみを用いても62.69％のmAPを達成する。

ABSTRACT

The existing solutions for object detection distillation rely on the availability of both a teacher model and ground-truth labels. We propose a new perspective to relax this constraint. In our framework, a student is first trained with pseudo labels generated by the teacher, and then fine-tuned using labeled data, if any available. Extensive experiments demonstrate improvements over existing object detection distillation algorithms. In addition, decoupling the teacher and ground-truth distillation in this framework provides interesting properties such: as 1) using unlabeled data to further improve the student's performance, 2) combining multiple teacher models of different architectures, even with different object categories, and 3) reducing the need for labeled data (with only 20% of COCO labels, this method achieves the same performance as the model trained on the entire set of labels). Furthermore, a by-product of this approach is the potential usage for domain adaptation. We verify these properties through extensive experiments.

研究の動機と目的

• 訓練中に教師モデルと正解ラベルの両方を必要とする従来のオブジェクト検出の知識蒸留手法の制限を解消すること。
• 完全なラベル付きデータセットにアクセスできない状況でも、事前学習済みの教師モデルのみを用いて効果的な蒸留を可能にすること。
• 異なるアーキテクチャとオブジェクトカテゴリを持つ複数の教師モデルを統合して、1つの学生モデルを効果的に学習できるかを検討すること。
• ラベル付きデータ以外の未ラベルデータが、教師付き微調整を超える学生の一般化性能向上に寄与するかを調査すること。
• 低リソースまたはドメインシフトが生じる環境におけるドメイン適応の可能性を評価すること。

提案手法

• 学生モデルは、未ラベルデータのプールを用いて教師モデルが生成する疑似ラベルで最初に学習され、知識蒸留と正解ラベルの監督を分離する。
• 疑似ラベルは、未ラベル画像を教師モデルに通して、バウンディングボックス、信頼度スコア、クラス確率を出力することで生成される。
• 学生モデルは、ボックス予測、信頼度スコア、クラス確率のすべてにおいて教師モデルの出力を模倣する蒸留損失関数を用いて学習される。
• 疑似ラベル生成段階では、特徴マッチングとイミテーションマスクが用いられ、生成ラベルの品質が向上する。
• 無教師蒸留の後、利用可能なラベル付きデータのサブセットを用いて学生モデルを微調整することで、性能がさらに向上する。
• 複数教師蒸留では、予測結果を「肯定的」な戦略で集約する。この戦略では、教師間で合意が得られれば、オブジェクトクラスが重複しなくても有効とされる。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータでの微調整の前に、教師モデルの疑似ラベルで学生モデルを事前学習することで、蒸留性能が向上するか？
• RQ2 蒸留段階で未ラベルデータを用いることで、オブジェクト検出の性能に顕著な向上が見られるか？
• RQ3 異なるアーキテクチャとオブジェクトカテゴリを持つ複数の教師モデルを統合して、1つの学生モデルを効果的に学習できるか？
• RQ4 ラベル付きデータが不足している、または存在しないターゲットドメイン環境において、このフレームワークがどれほどドメイン適応を支援できるか？
• RQ5 特徴マッチング、イミテーションマスク、ボックスマッチングといった技術が、本フレームワークにおける最終的な検出性能にどのように影響を与えるか？

主な発見

• COCOのトレーニングラベルの20％のみを用い、未ラベルデータと組み合わせた場合、本手法は全ラベルで学習したモデルと同等の62.69％のmAPを達成した。
• 複数の教師モデルからの無教師蒸留の後にラベル付きデータで微調整した場合、蒸留なしで学習した場合と比較して、平均でmAPが2.6％向上した。
• 人間-車、車-ネコ、人間-自転車という非重複クラスを検出する3つの教師モデルを用いた場合、COCOで微調整後に学生モデルは60.08％のmAPを達成し、単独の蒸留で得られる52.50％のベースラインを上回った。
• ドメイン適応の設定では、昼間の教師モデルから蒸留し、夜間画像で微調整した結果、45.78％のmAPを達成した。これは、ベースラインの33.25％を上回った。
• 教師の予測を集約した後にNMSを適用すると性能が低下した。これは、ノイズを含む疑似ラベルが、学生モデルがよりロバストな特徴を学習するのを助ける可能性を示唆している。
• 肯定的集約戦略を用いることで、アーキテクチャやオブジェクトカテゴリが異なる複数の教師モデルから、クラスの重複がなくても効果的な蒸留が可能であることが実証された。