[論文レビュー] Dense Learning based Semi-Supervised Object Detection

Binghui Chen, Pengyu Li+4 more|arXiv (Cornell University)|Apr 15, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、自己教師付き学習の枠組みにおいて、適応的フィルタリング、安定な予測を実現する統合教師、およびスケールとシャッフル済みパッチを跨ぐ不確実性一貫性正則化を用いた、密度的ピクセル単位の疑似ラベル付けを活用する、最初のアンカーフリー半教師あり物体検出法であるDenSe Learning (DSL)を提案する。DSLは、MS-COCOおよびPASCAL-VOCで最先端の性能を達成し、半教師あり設定下で36.2 mAPを記録した。

ABSTRACT

Semi-supervised object detection (SSOD) aims to facilitate the training and deployment of object detectors with the help of a large amount of unlabeled data. Though various self-training based and consistency-regularization based SSOD methods have been proposed, most of them are anchor-based detectors, ignoring the fact that in many real-world applications anchor-free detectors are more demanded. In this paper, we intend to bridge this gap and propose a DenSe Learning (DSL) based anchor-free SSOD algorithm. Specifically, we achieve this goal by introducing several novel techniques, including an Adaptive Filtering strategy for assigning multi-level and accurate dense pixel-wise pseudo-labels, an Aggregated Teacher for producing stable and precise pseudo-labels, and an uncertainty-consistency-regularization term among scales and shuffled patches for improving the generalization capability of the detector. Extensive experiments are conducted on MS-COCO and PASCAL-VOC, and the results show that our proposed DSL method records new state-of-the-art SSOD performance, surpassing existing methods by a large margin. Codes can be found at extcolor{blue}{https://github.com/chenbinghui1/DSL}.

研究の動機と目的

• アンカーフリー検出器に適した効果的な半教師あり物体検出（SSOD）手法の欠如に取り組むこと。これは、実世界の展開においてより実用的である。
• 適応的フィルタリングにより、背景、前景、無視可能な領域を明示的に処理することで、アンカーフリー検出器における密度的疑似ラベルの品質を向上させること。
• 層間の特徴統合（LA）と指数移動平均（EMA）を組み合わせたパラメータ統合による統合教師（AT）を用いて、疑似ラベルの安定性と正確性を向上させること。
• 異なる画像スケールおよびシャッフル済みパッチを跨ぐ不確実性一貫性正則化を導入することで、モデルの汎化性能を向上させること。
• MS-COCOやPASCAL-VOCといった標準ベンチマークで、アンカーフリーSSODのための新しい最先端のベースラインを確立すること。

提案手法

• 適応的フィルタリング（AF）は、多段階のしきい値を用いて、密度的疑似ラベルを背景、前景、無視可能な領域に分割する。クラス別に適応的なしきい値を設定することで、精度を向上させる。
• メタネット（MetaNet）を導入し、スコアが高いが誤った予測をフィルタリングすることで、前景の疑似ラベルを精緻化し、誤検出を低減する。
• 統合教師（AT）は、層間特徴統合（LA）とEMAを組み合わせることで、学習の各イテレーション間で疑似ラベルの品質と安定性を向上させる。
• 異なる画像スケールおよびシャッフル済みパッチを跨ぐ不確実性一貫性正則化を適用し、特徴の不確実性の一貫性を強制することで、耐性と汎化性能を向上させる。
• 損失関数は、ラベル付きデータに対する教師あり損失と、ラベルなしデータに対する重み付き一貫性損失を組み合わせており、ハイパーパrameter α がラベルなしデータの影響を制御する。
• 本手法は、ピクセル単位の監視を可能にする密度的予測ヘッドを有するFCOSをアンカーフリーのベースラインとして採用している。

実験結果

リサーチクエスチョン

• RQ1 高品質な疑似ラベル付けを伴う、密度的かつアンカーフリー物体検出が、半教師あり学習に効果的に適応可能か？
• RQ2 背景／前景／無視可能な領域という多段階的で細分化された疑似ラベル付けが、アンカーフリーSSODの性能にどのように寄与するか？
• RQ3 EMAと層間統合を組み合わせた統合教師モデルが、疑似ラベルの安定性と正確性に与える影響は何か？
• RQ4 異なるスケールおよびシャッフル済みパッチを跨ぐ不確実性一貫性正則化が、アンカーフリーSSODにおける汎化性能をどの程度向上させるか？
• RQ5 提案されたDSL手法は、半教師あり設定下でMS-COCOやPASCAL-VOCといった標準ベンチマークで最先端の性能を達成するか？

主な発見

• 提案されたDSL手法は、半教師あり物体検出設定下でMS-COCOで36.2 mAPを達成し、既存の最先端手法を大きく上回った。
• アブレーションスタディの結果、AF、MetaNet、AT、パッチシャッフル／一貫性の各コンポーネントが性能向上に段階的に寄与しており、フルモデルで36.2 mAPに到達した。
• クラス別しきい値を用いた適応的フィルタリングにより、mAPはベースラインの23.7から32.2に向上し、細分化された疑似ラベル付けの有効性が実証された。
• EMAと層間統合を両方組み合わせた統合教師（AT）は36.2 mAPを達成し、EMAのみ（34.1 mAP）やLAのみ（35.0 mAP）を上回り、両者の相乗効果が裏付けられた。
• ラベルなしデータの最適な損失重みαは3である。αを4以上にすると、学習の不安定化や損失の発散が生じた。
• 本手法はアンカーフリーSSODのための新しい最先端を確立し、COCOおよびVOCにおける強力な実証的結果とともに、この分野における最初の成功例となった。