[論文レビュー] End-to-End Semi-Supervised Object Detection with Soft Teacher

Mengde Xu, Zheng Zhang+6 more|arXiv (Cornell University)|Jun 16, 2021

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、偽ラベルの品質と検出性能を向上させるためにソフトテイチャーとボックスジッタリングを用いたエンドツーエンドの半教師付きオブジェクト検出フレームワークを提案する。学生検出器と指数移動平均を用いて更新される教師モデルを同時に訓練し、教師の信頼度スコアに基づいて分類損失を重み付けすることで、COCO上で最先端の結果を達成した。123K枚の未ラベル画像を用いて40.9 mAPの検出器を44.5 mAPに向上させ、Swin Transformerベースの検出器ではtest-dev2017で61.3 mAPを達成した。

ABSTRACT

This paper presents an end-to-end semi-supervised object detection approach, in contrast to previous more complex multi-stage methods. The end-to-end training gradually improves pseudo label qualities during the curriculum, and the more and more accurate pseudo labels in turn benefit object detection training. We also propose two simple yet effective techniques within this framework: a soft teacher mechanism where the classification loss of each unlabeled bounding box is weighed by the classification score produced by the teacher network; a box jittering approach to select reliable pseudo boxes for the learning of box regression. On the COCO benchmark, the proposed approach outperforms previous methods by a large margin under various labeling ratios, i.e. 1\%, 5\% and 10\%. Moreover, our approach proves to perform also well when the amount of labeled data is relatively large. For example, it can improve a 40.9 mAP baseline detector trained using the full COCO training set by +3.6 mAP, reaching 44.5 mAP, by leveraging the 123K unlabeled images of COCO. On the state-of-the-art Swin Transformer based object detector (58.9 mAP on test-dev), it can still significantly improve the detection accuracy by +1.5 mAP, reaching 60.4 mAP, and improve the instance segmentation accuracy by +1.2 mAP, reaching 52.4 mAP. Further incorporating with the Object365 pre-trained model, the detection accuracy reaches 61.3 mAP and the instance segmentation accuracy reaches 53.0 mAP, pushing the new state-of-the-art.

研究の動機と目的

• 初期の偽ラベルの不正確さに起因するマルチステージの半教師付きオブジェクト検出手法の限界を解消すること。
• 検出と偽ラベル付けの相互適合を可能にすることで、トレーニング中に偽ラベルの品質を向上させること。
• 複雑なトレーニングパイプラインを回避するシンプルで効果的なエンドツーエンドフレームワークを構築すること。
• 信頼度重み付きの監視と頑健なボックス選択を用いて、未ラベルデータをより効果的に活用すること。
• 低・高ラベル比率の両方において、完全なCOCOトレーニングセットを含む最先端の性能を達成すること。

提案手法

• フレームワークは、ラベルなし画像のオンライン偽ラベル付けに用いる指数移動平均（EMA）で更新される教師モデルと、検出トレーニングに用いる学生モデルを用いる。
• ソフトテイチャー機構により、各未ラベルボックスの分類損失が教師の信頼度スコアで重み付けされ、より情報量の多い監視が可能になる。
• ボックスジッタリングを適用して、予測ボックスの複数の摂動版における回帰分散を推定し、信頼性の高い回帰ターゲットの選択を改善する。
• 正確性を確保するため、偽ラベルは高い前景閾値（0.9）を用いてフィルタリングされ、バックグラウンドボックスは教師の信頼度で重み付けされて偽陰性を低減する。
• 最終的な損失は、ラベル付きデータに対する教師付き検出損失と、偽ラベル付き未ラベルデータに対する非教師付き検出損失の組み合わせである。
• エンドツーエンドのトレーニングにより、改善された検出がより良い偽ラベルを生み出し、それが再び検出性能を向上させるフィードバックループ（フライホイール効果）が発生する。

Figure 1: The proposed end-to-end pseudo-label based semi-supervised object detection method outperforms the STAC [ 27 ] by a large margin on MS-COCO benchmark.

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのトレーニングフレームワークは、マルチステージアプローチを上回る性能を示せるか？
• RQ2 信頼度スコアに基づくソフトテイチャー監視は、偽ラベルの品質と検出精度をどのように向上させるか？
• RQ3 ボックスジッタリングは、半教師付きオブジェクト検出における信頼性の高い回帰ターゲットの選択にどのような影響を与えるか？
• RQ4 大規模な未ラベルデータを活用することで、完全なラベル付きデータを用いた場合でも、本手法は顕著な性能向上を達成できるか？
• RQ5 本フレームワークは、最先端のSwin Transformerモデルを含むさまざまな検出器アーキテクチャにおいて、どのように性能を発揮するか？

主な発見

• 123K枚の未ラベル画像を活用することで、完全なCOCOトレーニングセットで学習した40.9 mAPの検出器が44.5 mAPに向上し、+3.6 mAPの向上を達成した。
• 最先端のHTC++(Swin-L)検出器では、test-dev2017でmAPが58.9から60.4に向上し、初めて60 mAPを超えた。
• Object365で事前学習を施した場合、検出では61.3 mAP、インスタンスセグメンテーションでは53.0 mAPを達成し、COCOで新たなSOTAを樹立した。
• アブレーションスタディの結果、ソフトテイチャーとボックスジッタリングを併用することで、EMAオンリーベースラインからmAPが3.0ポイント向上し、ソフトテイチャー単体で2.4ポイントの寄与が確認された。
• 偽ラベルフィルタリングの最適な前景閾値は0.9であり、ボックスジッタリングの最適な回数は10回で、N=10で性能が飽和していることが分かった。
• 123K枚（2.9M枚対比）の未ラベルデータを用いても、STAC や自己トレーニングなどの先行SOTA手法を上回った。

Figure 2: The overview of the end-to-end pseudo-labeling framework for semi-supervised object detection. Unlabeled images and labeled images form the training data batch. In each training iteration, a soft teacher is applied to perform pseudo-labeling on weak augmented unlabeled images on the fly. T