[論文レビュー] S4OD: Semi-Supervised learning for Single-Stage Object Detection

Yueming Zhang, Xingxu Yao+8 more|arXiv (Cornell University)|Apr 9, 2022

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本論文では、偽ラベル選択のための動的自己適応しきい値（DSAT）と、回帰の不確実性を評価するNMS-UNCモジュールを導入することで、顕著な前景・背景クラスのアンバランスを是正する半教師あり学習フレームワークS4ODを提案する。10%のラベル付きCOCOデータのみを用いて、FCOSでは35.0%のAP、RetinaNetでは32.9%のAPを達成し、新たな最先端性能を樹立した。

ABSTRACT

Single-stage detectors suffer from extreme foreground-background class imbalance, while two-stage detectors do not. Therefore, in semi-supervised object detection, two-stage detectors can deliver remarkable performance by only selecting high-quality pseudo labels based on classification scores. However, directly applying this strategy to single-stage detectors would aggravate the class imbalance with fewer positive samples. Thus, single-stage detectors have to consider both quality and quantity of pseudo labels simultaneously. In this paper, we design a dynamic self-adaptive threshold (DSAT) strategy in classification branch, which can automatically select pseudo labels to achieve an optimal trade-off between quality and quantity. Besides, to assess the regression quality of pseudo labels in single-stage detectors, we propose a module to compute the regression uncertainty of boxes based on Non-Maximum Suppression. By leveraging only 10% labeled data from COCO, our method achieves 35.0% AP on anchor-free detector (FCOS) and 32.9% on anchor-based detector (RetinaNet).

研究の動機と目的

• 単一段階検出器における半教師あり学習の際の顕著な前景・背景クラスのアンバランスを是正すること。
• 手動でのハイパーパramータチューニングを必要とせず、高品質かつ十分な量の偽ラベルを選択するための動的で適応的な戦略を開発すること。
• 偽ラベルのフィルタリングに向け、単一段階検出器における回帰品質の信頼性ある評価を可能にすること。
• 最小限のラベル付きデータで、半教師あり単一段階オブジェクト検出における最先端の性能を達成すること。

提案手法

• モデルの性能に基づいて分類スコアのしきい値を自動で調整する動的自己適応しきい値（DSAT）を提案し、偽ラベル選択における品質と数量のバランスを図る。
• 非最大抑制（NMS）における重複ボックスの標準偏差を測定することで、回帰の不確実性を計算するNMS-UNCモジュールを導入する。
• NMS-UNCから得られる不確実性スコアを用いて、低品質な回帰偽ラベルをフィルタリングし、学習の安定性を向上させる。
• DSATとNMS-UNCを統合した半教師あり学習パイプラインを構築し、ラベル付きデータとラベルなしデータの両方を活用する。
• 2段階の訓練プロセスを採用する：まず教師モデルが偽ラベルを生成し、次に学生モデルがラベル付きデータとフィルタリング済みの偽ラベルを用いて学習する。
• DSATにおけるF1スコアベースの動的しきい値化を用い、訓練中に適合率と再現率の調和平均に基づいて偽ラベルを適応的に選択する。

実験結果

リサーチクエスチョン

• RQ1 半教師あり単一段階オブジェクト検出における偽ラベルの品質と数量のトレードオフをどのようにバランスさせるか？
• RQ2 固定しきい値のアブレーションスタディと比較して、動的で自己適応的なしきい値戦略は、偽ラベル選択において優れているか？
• RQ3 回帰の不確実性は、単一段階検出器における偽ラベルのフィルタリングに効果的に測定され、活用可能か？
• RQ4 提案手法は、COCOで10%のラベル付きデータのみを用いても、最先端の性能を達成できるか？

主な発見

• S4ODは、COCOの10%ラベル付きデータを用いて、アンカーレスなFCOS検出器で35.0%のAP、アンカーベースのRetinaNetで32.9%のAPを達成した。
• DSAT戦略は、最良の固定しきい値（0.9）を+1.8%のAPで上回り、適応的しきい値選択の優位性を示した。
• NMS-UNCの最適な不確実性しきい値は0.08と特定され、最高のAP31.3（AP@0.5: 49.1、AP@0.75: 33.0）を達成した。
• NMS-UNCの最適なスコアしきい値は0.4であり、計算効率と性能のバランスが取れており、0.3などの低しきい値や0.5などの高しきい値を上回った。
• DSATとNMS-UNCの追加による訓練時間の増加はわずか5.55%であり、実世界の展開において実用的である。
• DSATおよびNMS-UNCモジュールはモデルに依存せず、アーキテクチャの変更なしにさまざまな単一段階検出器に適用可能である。