[論文レビュー] PseCo: Pseudo Labeling and Consistency Training for Semi-Supervised Object Detection

Gang Li, Xiang Li+4 more|arXiv (Cornell University)|Mar 30, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

PseCoは、検出固有の課題である誤った局所化とスケール感受性に対処することで、疑似ラベリングと一貫性学習を向上させる半教師付きオブジェクト検出フレームワークを提案する。ノイズが多い疑似ボックスに対する耐性を高めるために、予測誘導ラベル割り当てとポジティブプロポーザル一貫性投票を備えたノイズあり疑似ボックス学習（NPL）を導入し、ノイズのある疑似ボックス上で安定した学習を実現する。また、スケール不変性を向上させるために、ラベルレベルおよび特徴量レベルの一貫性を統合するマルチビュー スケール不変性学習（MSL）を提案する。COCOにおいて、PseCoは1%、5%、10%のラベル付きデータ比において、それぞれSoft Teacherより2.0、1.8、2.0 mAPの向上を達成し、学習時間を半減した。

ABSTRACT

In this paper, we delve into two key techniques in Semi-Supervised Object Detection (SSOD), namely pseudo labeling and consistency training. We observe that these two techniques currently neglect some important properties of object detection, hindering efficient learning on unlabeled data. Specifically, for pseudo labeling, existing works only focus on the classification score yet fail to guarantee the localization precision of pseudo boxes; For consistency training, the widely adopted random-resize training only considers the label-level consistency but misses the feature-level one, which also plays an important role in ensuring the scale invariance. To address the problems incurred by noisy pseudo boxes, we design Noisy Pseudo box Learning (NPL) that includes Prediction-guided Label Assignment (PLA) and Positive-proposal Consistency Voting (PCV). PLA relies on model predictions to assign labels and makes it robust to even coarse pseudo boxes; while PCV leverages the regression consistency of positive proposals to reflect the localization quality of pseudo boxes. Furthermore, in consistency training, we propose Multi-view Scale-invariant Learning (MSL) that includes mechanisms of both label- and feature-level consistency, where feature consistency is achieved by aligning shifted feature pyramids between two images with identical content but varied scales. On COCO benchmark, our method, termed PSEudo labeling and COnsistency training (PseCo), outperforms the SOTA (Soft Teacher) by 2.0, 1.8, 2.0 points under 1%, 5%, and 10% labelling ratios, respectively. It also significantly improves the learning efficiency for SSOD, e.g., PseCo halves the training time of the SOTA approach but achieves even better performance. Code is available at https://github.com/ligang-cs/PseCo.

研究の動機と目的

• オブジェクト検出における局所化精度やスケール不変性といった重要な特性を無視する既存の半教師付きオブジェクト検出（SSOD）手法の限界を解消すること。
• ラベル割り当てを誤った局所化を持つノイズの多い疑似ボックスに対して耐性を持つようにすることで、SSODにおける疑似ラベリングを改善すること。
• スケール不変性を向上させるために、ラベルレベルの一貫性に加え特徴量レベルの一貫性を統合することで、一貫性学習を強化すること。
• 性能を損なうことなく学習効率を著しく向上させ、SOTAと比較して学習時間を半減させること。
• 検出固有のインダクティブバイアスを半教師付き学習に統合する包括的なフレームワークを提供すること。

提案手法

• 予測に基づいてラベルを割り当てる予測誘導ラベル割り当て（PLA）を備えたノイズあり疑似ボックス学習（NPL）を導入し、局所化誤差に対して耐性を持つようにすることで、ロバストなラベル割り当てを実現する。
• 追加の順方向パスを必要とせず、ポジティブプロポーザル間の回帰一貫性を評価することで、疑似ボックスの局所化品質を測定するポジティブプロポーザル一貫性投票（PCV）を提案する。
• ランダムスケールのデータオーグメンテーションによるラベルレベルの一貫性と、マルチスケールビュー間のシフトされた特徴マップピラミッドのアライメントによる特徴量レベルの一貫性を同時に強制するマルチビュー スケール不変性学習（MSL）を開発する。
• 教師モデルが疑似ラベルを生成し、学生モデルをガイドする教師-学生フレームワークを採用し、スケール変動に伴う学習の安定化のためにMSLを訓練中に適用する。
• クラス不均衡を解消し、ハードネガティブサンプルの性能を向上させるために、Focal Lossを採用する。
• NPLとMSLを統合した訓練パイプラインを設計し、最小限のハイパーパrameterチューニングで、未ラベルデータに対して効率的かつ正確な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 半教師付きオブジェクト検出における疑似ラベリングは、ノイズが多く局所化が不正確な疑似ボックスに対してどのように耐性を持たせることができるか？
• RQ2 IoUの閾値に依存せずに、疑似ボックスの局所化品質を効果的に測定・活用するメカニズムは何か？
• RQ3 ラベルレベルの一貫性を超えて、特徴量レベルの不変性を統合することで、一貫性学習をどのように強化し、スケール耐性を向上させられるか？
• RQ4 ラベルレベルおよび特徴量レベルの一貫性学習を統合することで、SSODにおける精度と学習効率を著しく向上させられるか？
• RQ5 検出に配慮した半教師付きフレームワークは、mAPと学習速度の両面で、既存手法をどの程度上回ることができるか？

主な発見

• PseCoは10%のラベル付きデータでCOCOで36.3 mAPを達成し、同じ設定下でSoft Teacherを2.0 mAP上回った。
• 1%のラベル付きデータにおいて、PseCoはSoft TeacherよりmAPを2.0ポイント向上させ、優れたデータ効率を示した。
• PseCoは性能を向上させながら、Soft Teacherと比較して学習時間を50%短縮した。これは顕著な効率性の向上を示している。
• ポジティブプロポーザル一貫性投票（PCV）は、回帰一貫性とボックスジッタリングをそれぞれ0.9%および0.5%上回り、追加のハイパーパrameterが不要であった。
• MSLにおける特徴量レベルの一貫性は、ラベルレベルの一貫性のみに比べて+1.0 mAPの向上をもたらし、特徴量アライメントの重要性を裏付けた。
• Focal Lossの使用により、Cross-Entropy Lossと比較してmAPが0.6ポイント向上し、さらなる性能向上が達成された。