[論文レビュー] Unbiased Teacher v2: Semi-supervised Object Detection for Anchor-free and Anchor-based Detectors

Yen‐Cheng Liu, Chih‐Yao Ma+1 more|arXiv (Cornell University)|Jun 19, 2022

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本論文は、回帰ヘッドにおける不確実性に基づく疑似ラベル選択メカニズム「Listen2Student」を導入することで、アンカーフリーおよびアンカーベースの検出器の両方へ一般化可能な半教師ありオブジェクト検出フレームワークであるUnbiased Teacher v2を提案する。教師と生徒ネットワーク間の相対的不確実性比較により誤った疑似ラベルを低減することで、COCO-standard、COCO-additional、VOCベンチマークで最先端の性能を達成する。

ABSTRACT

With the recent development of Semi-Supervised Object Detection (SS-OD) techniques, object detectors can be improved by using a limited amount of labeled data and abundant unlabeled data. However, there are still two challenges that are not addressed: (1) there is no prior SS-OD work on anchor-free detectors, and (2) prior works are ineffective when pseudo-labeling bounding box regression. In this paper, we present Unbiased Teacher v2, which shows the generalization of SS-OD method to anchor-free detectors and also introduces Listen2Student mechanism for the unsupervised regression loss. Specifically, we first present a study examining the effectiveness of existing SS-OD methods on anchor-free detectors and find that they achieve much lower performance improvements under the semi-supervised setting. We also observe that box selection with centerness and the localization-based labeling used in anchor-free detectors cannot work well under the semi-supervised setting. On the other hand, our Listen2Student mechanism explicitly prevents misleading pseudo-labels in the training of bounding box regression; we specifically develop a novel pseudo-labeling selection mechanism based on the Teacher and Student's relative uncertainties. This idea contributes to favorable improvement in the regression branch in the semi-supervised setting. Our method, which works for both anchor-free and anchor-based methods, consistently performs favorably against the state-of-the-art methods in VOC, COCO-standard, and COCO-additional.

研究の動機と目的

• オブジェクト検出において急速に普及しているアンカーフリー検出器向けの半教師ありオブジェクト検出（SS-OD）手法の不足に応えること。
• 特に信頼度しきい値を用いる場合に有効でない、境界ボックス回帰における半教師あり設定下での不適切な疑似ラベル付けの問題を解決すること。
• 信頼度に基づくしきい値よりもより強固な選択メカニズムを用いることで、誤った疑似ラベルを低減し、回帰性能を向上させること。
• アンカーフリーとアンカーベースの検出器の間の性能格差を、統一的かつ効果的な手法を適用することで埋めること。
• COCO-standard、COCO-additional、VOCを含む多様なベンチマークにおいて、提案手法の有効性を実証的に検証すること。

提案手法

• 教師と生徒ネットワーク間の相対的不確実性に基づいて回帰疑似ラベルを選択する、Listen2Studentというメカニズムを導入する。
• 分類の信頼度に依存するのではなく、各バウンディングボックス座標（4つの座標）に対して境界ごとの不確実性推定を用いて疑似ラベル選択をガイドする。
• 教師の不確実性が生徒より低い場合にのみ、教師の不確実性が低い領域に対してのみ、非教師的回帰損失を適用することで、信頼性の低い予測に起因するノイズを低減する。
• FCOS や RetinaNet などのアンカーフリー検出器、および Faster R-CNN などのアンカーベース検出器の両方へこのメカニズムを適用し、アーキテクチャを越えた一般化を確保する。
• データオーグメンテーションと一貫性正則化を組み合わせた一貫性のある自己学習フレームワークを採用し、疑似ラベル付けは高信頼度・低不確実性領域に限定する。
• 反復的な疑似ラベル付けとモデル精練を繰り返すマルチステージトレーニングプロトコルを採用し、教師と生徒の予測の一貫性を維持する。

Figure 1 : To improve the unsupervised regression loss, we propose (a) Listen2Student , which explicitly compares the prediction uncertainties between the Teacher and the Student and selects these instances where the teacher has lower uncertainty than the student. We then enforce the unsupervised re

実験結果

リサーチクエスチョン

• RQ1 既存のSS-OD手法がアンカーフリー検出器に対してアンカーベースのものほど性能を発揮しないのはなぜか？
• RQ2 半教師あり設定下で、センターネスおよび局所化に基づくラベル付けの信頼性はどのように低下するのか？
• RQ3 教師と生徒間の相対的不確実性は、バウンディングボックス回帰の疑似ラベル品質を向上させることができるか？
• RQ4 境界ごとの不確実性推定メカニズムは、信頼度しきい値による手法よりも優れた回帰性能をもたらすか？
• RQ5 統一されたSS-ODフレームワークは、アンカーフリーおよびアンカーベースの両検出器で最先端の結果を達成できるか？

主な発見

• COCO2017-trainをラベル付きデータ、COCO2017-unlabeledをラベルなしデータとして使用した場合、Unbiased Teacher v2はCOCO-additionalで44.75 mAPを達成し、教師ありベースラインの40.90 mAPを上回る。
• VOCではVOC07をラベル付き、VOC12+COCO20clsをラベルなしとして使用した場合、58.08 mAPを達成し、教師ありベースラインを上回り、優れた一般化性能を示す。
• Listen2Studentメカニズムは、すべてのIoUしきい値（AP55からAP95）においてmAPを向上させ、特に厳しい指標であるAP95で最も顕著な向上を示し、境界精度の向上を確認する。
• 信頼度しきい値による手法単体ではAP95で性能が低下するため、正確な局所化に悪影響を及ける誤った疑似ラベルが導入されていることが示唆される。
• アンカーフリーとアンカーベースの検出器の間の性能格差を半教師あり学習下で低減し、SS-ODが現代的なアンカーフリーアーキテクチャへも効果的に一般化可能であることを示す。
• アブレーションスタディにより、相対的不確実性に基づく選択が、特に高精度検出の場面で信頼度に基づく選択よりも優れていることが確認される。

Figure 2 : Illustration of Centerness bias issue. (a) Selecting pseudo-boxes based on box scores leads to worse results in semi-supervised learning compared with selecting based on classification scores. (b) Box scores of the anchor-free detectors [ 29 , 37 ] are defined as the multiplication of the