[論文レビュー] Scale-Equivalent Distillation for Semi-Supervised Object Detection

Qiushan Guo, Yao Mu+4 more|arXiv (Cornell University)|Mar 23, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、大規模なオブジェクトサイズのばらつき、誤った負例、クラス不均衡の問題に対処する、半教師付きオブジェクト検出のための新規エンドツーエンド知識蒸留フレームワーク、Scale-Equivalent Distillation (SED) を提案する。特徴マップ上のスケール一貫性を強制し、再重み付けを伴う自己蒸留を適用することで、SED は最先端の性能を達成し、MS-COCO でラベル付きデータをたった 5% および 10% のみ使用しても、教師ありベースラインを 10 mAP 以上上回る。

ABSTRACT

Recent Semi-Supervised Object Detection (SS-OD) methods are mainly based on self-training, i.e., generating hard pseudo-labels by a teacher model on unlabeled data as supervisory signals. Although they achieved certain success, the limited labeled data in semi-supervised learning scales up the challenges of object detection. We analyze the challenges these methods meet with the empirical experiment results. We find that the massive False Negative samples and inferior localization precision lack consideration. Besides, the large variance of object sizes and class imbalance (i.e., the extreme ratio between background and object) hinder the performance of prior arts. Further, we overcome these challenges by introducing a novel approach, Scale-Equivalent Distillation (SED), which is a simple yet effective end-to-end knowledge distillation framework robust to large object size variance and class imbalance. SED has several appealing benefits compared to the previous works. (1) SED imposes a consistency regularization to handle the large scale variance problem. (2) SED alleviates the noise problem from the False Negative samples and inferior localization precision. (3) A re-weighting strategy can implicitly screen the potential foreground regions of the unlabeled data to reduce the effect of class imbalance. Extensive experiments show that SED consistently outperforms the recent state-of-the-art methods on different datasets with significant margins. For example, it surpasses the supervised counterpart by more than 10 mAP when using 5% and 10% labeled data on MS-COCO.

研究の動機と目的

• 半教師付きオブジェクト検出における大きなオブジェクトサイズのばらつきがモデルの一般化性能を損なうという課題に対処する。
• 難易度の高い疑似ラベルにおける誤った負例の予測と位置特定の不正確さに起因するノイズを低減する。
• ラベルなしデータにおける前景領域と背景領域の極端なクラス不均衡を軽減する。
• シンプルでエンドツーエンドの蒸留フレームワークを用いて、低監視環境下での検出性能を向上させる。
• マルチスケール推論アンサンブルに依存せずに、さまざまな入力スケール間で一貫した予測を実現する。

提案手法

• 同じオブジェクトの異なるスケールでの予測間の特徴レベルの一貫性を強制することで、スケール一貫性正則化を導入する。
• 教師と生徒の予測の一致を促すことで、誤った負例に起因するノイズを低減するため、自己蒸留を適用する。
• 背景領域の重みを低下させ、ラベルなしデータにおける潜在的前景領域を強調する再重み付け戦略を実装する。
• 生徒モデルがラベル付きデータと、教師から蒸留されたラベルなしデータの知識から学ぶエンドツーエンドのトレーニングパイプラインを設計する。
• 特徴マップとボックス回帰に基づく一貫性損失を用いて、特徴ピラミッドの各レベル間でスケール同等性を維持する。
• 検出精度とスケール不変性の両方を同時に最適化する、生徒-教師フレームワークを用いた知識蒸留を活用する。

実験結果

リサーチクエスチョン

• RQ1 異なる入力サイズにおけるスケールの不一致が、半教師付き設定におけるオブジェクト検出性能をどの程度悪化させるか？
• RQ2 難易度の高い疑似ラベルにおける誤った負例の予測と位置特定の誤差が、既存の自己トレーニング手法の性能をどの程度制限するか？
• RQ3 再重み付け機構は、ラベルなしデータにおける極端な前景-背景クラス不均衡の影響を効果的に低減できるか？
• RQ4 スケール同等知識蒸留を強制することで、さまざまなオブジェクトスケールにわたって一貫性があり頑健な検出が達成できるか？
• RQ5 シンプルでエンドツーエンドの蒸留フレームワークは、半教師付きオブジェクト検出において、複雑なステップバイステップの自己トレーニングパイプラインを上回ることができるか？

主な発見

• MS-COCO でラベル付きデータをたった 5% のみ使用した場合、SED は教師あり RetinaNet ベースラインに対して 10.2 mAP の向上を達成した。
• 10% のラベル付きデータを使用した場合、SED は MS-COCO で教師あり対応モデルと比較して mAP を 10.8 ポイント向上させた。
• アブレーションスタディでは、誤った負例率が顕著に低下し、IoU=0.9 での再現率が 0.2 未満から 0.4 を超えるまで向上した。
• スケール一貫性正則化により、異なる入力スケール間での予測ばらつきが低減され、スケール変動に対する頑健性が向上した。
• 再重み付け戦略により、背景の勾配優位性が効果的に抑制され、前景特徴の学習が改善された。
• SED は、ラベル付きデータの設定に関わらず、MS-COCO、Pascal VOC、COCO-100 で常に最先端の手法を上回った。