[論文レビュー] DTG-SSOD: Dense Teacher Guidance for Semi-Supervised Object Detection

Gang Li, Xiang Li+4 more|arXiv (Cornell University)|Jul 12, 2022

Video Surveillance and Tracking Methods被引用数 13

ひとこと要約

本論文は、教師モデルの密な予測を直接活用することで、従来の「スパースからダイアス」パラダイムに代わる「ダイアスからダイアス」アプローチを採用する、新しい半教師付きオブジェクト検出フレームワーク、DTG-SSODを提案する。逆NMSクラスタリングとランクマッチングを導入し、学生の予測を教師のNMSグループ化とスコア順位に一致させることで、10%のラベル比でCOCOでSOTAの35.9 mAPを達成し、先行手法より1.9 mAP優れている。

ABSTRACT

The Mean-Teacher (MT) scheme is widely adopted in semi-supervised object detection (SSOD). In MT, the sparse pseudo labels, offered by the final predictions of the teacher (e.g., after Non Maximum Suppression (NMS) post-processing), are adopted for the dense supervision for the student via hand-crafted label assignment. However, the sparse-to-dense paradigm complicates the pipeline of SSOD, and simultaneously neglects the powerful direct, dense teacher supervision. In this paper, we attempt to directly leverage the dense guidance of teacher to supervise student training, i.e., the dense-to-dense paradigm. Specifically, we propose the Inverse NMS Clustering (INC) and Rank Matching (RM) to instantiate the dense supervision, without the widely used, conventional sparse pseudo labels. INC leads the student to group candidate boxes into clusters in NMS as the teacher does, which is implemented by learning grouping information revealed in NMS procedure of the teacher. After obtaining the same grouping scheme as the teacher via INC, the student further imitates the rank distribution of the teacher over clustered candidates through Rank Matching. With the proposed INC and RM, we integrate Dense Teacher Guidance into Semi-Supervised Object Detection (termed DTG-SSOD), successfully abandoning sparse pseudo labels and enabling more informative learning on unlabeled data. On COCO benchmark, our DTG-SSOD achieves state-of-the-art performance under various labelling ratios. For example, under 10% labelling ratio, DTG-SSOD improves the supervised baseline from 26.9 to 35.9 mAP, outperforming the previous best method Soft Teacher by 1.9 points.

研究の動機と目的

• 『スパースからダイアス』パラダイムの限界、特に手作業で設計されたNMSとラベル割り当てによるノイズの蓄積を是正すること。
• 教師モデルのスパースな疑似ラベルではなく、その密な予測を活用することで、より情報量が多く直接的な監視を可能にすること。
• 教師が学習した文脈的関係性と順位関係を保持することで、未ラベルデータにおける一般化性能と性能を向上させること。
• Soft Teacher や Mean-Teacher などの既存手法と比較して、より高い精度と訓練効率を達成すること。

提案手法

• 教師の密な予測を直接監視として使用する『ダイアスからダイアス』パラダイムを提案し、NMS処理やスパースな疑似ラベルを回避する。
• 教師のNMS処理から得られるクラスタリング構造を学習することで、学生のNMSにおける候補グループ化を教師のものと一致させる『逆NMSクラスタリング（INC）』を導入する。
• 教師のクラスタ内候補のスコア順位の知識を学生に伝達するため、『ランクマッチング（RM）』を採用し、相対的な信頼順位を保持する。
• 教師モデルを学生から指数移動平均（EMA）で更新することで、強力で一貫性のある教師を維持する。
• INCとRMによる密な指導を、学生モデルの分類ヘッドと回帰ヘッドの両方の監視に適用する。
• 従来のラベル割り当てを、教師のNMS出力から導出されるグループベースのラベル割り当てに置き換え、ノイズを低減しラベル品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 教師の全予測セットからの直接的な密な監視が、標準的な『スパースからダイアス』パイプラインを上回る半教師付きオブジェクト検出を実現できるか？
• RQ2 学生モデルが教師のNMS動作、すなわち候補のクラスタリングと順位付けを効果的に再現できるか？
• RQ3 NMS やラベル割り当てといった中間ステップを排除することで、未ラベルデータにおけるノイズ低減と性能向上が達成できるか？
• RQ4 提案手法は、Soft Teacher や Mean-Teacher などの既存SOTA手法と比較して、より高い精度と訓練効率を達成できるか？

主な発見

• 10%のラベル比で、COCOで35.9 mAPを達成し、教師ありベースライン（26.9 mAP）を上回り、以前のSOTA手法であるSoft Teacher よりも1.9 mAP優れている。
• 1%のラベル比でも27.4 mAPを達成し、極めて限られたラベルデータでも高いロバスト性を示している。
• 180kステップのSoft Teacherと比較して、90kステップ（半分）の訓練で10%ラベル比で33.7 mAPを達成し、高い訓練効率を示している。
• 完全ラベル設定（100%ラベル）でも、Soft Teacherの半分の訓練ステップで44.7 mAPを達成し、44.5 mAPを記録しており、優れた効率性と性能を示している。
• アブレーションスタディの結果、INCで最終NMSで残されたボックスを回帰ターゲットとして使用すると、全教師ボックスを使用する場合（34.3 mAP）より高い性能（35.1 mAP）を達成した。
• 定性的な分析から、教師の信頼度と順位を活用することで、低品質で曖昧な候補の抑制がより効果的に行われ、誤った正例割り当てが減少していることが示された。