[論文レビュー] Rethinking Pseudo Labels for Semi-Supervised Object Detection

Hengduo Li, Zuxuan Wu+2 more|arXiv (Cornell University)|Jun 1, 2021

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本論文は、アノテーションの信頼性を考慮した偽ラベルを提案し、物体検出の局所化精度を向上させるとともに、分類の不均衡を軽減する。局所化を分類タスクとして定式化することで信頼度スコアを推定し、これらのスコアに基づいてしきい値を動的に調整し、損失関数を再重み付けすることで、COCOおよびPASCAL VOCで1–2%のAP向上を達成。また、1–10%のラベル付きデータのみを用いても、教師モデルから学生モデルへの知識蒸留をより信頼性高く行える。

ABSTRACT

Recent advances in semi-supervised object detection (SSOD) are largely driven by consistency-based pseudo-labeling methods for image classification tasks, producing pseudo labels as supervisory signals. However, when using pseudo labels, there is a lack of consideration in localization precision and amplified class imbalance, both of which are critical for detection tasks. In this paper, we introduce certainty-aware pseudo labels tailored for object detection, which can effectively estimate the classification and localization quality of derived pseudo labels. This is achieved by converting conventional localization as a classification task followed by refinement. Conditioned on classification and localization quality scores, we dynamically adjust the thresholds used to generate pseudo labels and reweight loss functions for each category to alleviate the class imbalance problem. Extensive experiments demonstrate that our method improves state-of-the-art SSOD performance by 1-2% AP on COCO and PASCAL VOC while being orthogonal and complementary to most existing methods. In the limited-annotation regime, our approach improves supervised baselines by up to 10% AP using only 1-10% labeled data from COCO.

研究の動機と目的

• 半教師付き物体検出（SSOD）における偽ラベルの局所化信頼度の欠如が検出性能を制限する問題に対処する。
• 長尾分布に起因するクラス不均衡を軽減する。具体的には、高信頼度しきい値により、代表度が低いクラスがフィルタリングされてしまう問題を緩和する。
• 分類と局所化の両方の信頼度を同時に推定することで、教師モデルから学生モデルへの知識蒸留の信頼性を高める。
• 既存のSSOD手法と直交的かつ補完的である方法を構築し、アーキテクチャの大幅な見直しを伴わずに最先端性能を向上させる。

提案手法

• 各ボックスの各辺をK個の区間に分割し、それぞれの区間に対して重複度の予測スコアを出力することで、物体の局所化を分類問題として定式化する。
• 4つのボックス辺の最大分類スコアの平均値として、局所化品質スコアを計算し、局所化信頼度を微分可能かつ定量的に測定する。
• 局所化品質スコアと分類スコアを統合して、信頼性を考慮した偽ラベルを生成し、検出精度と局所化精度の両方を反映させる。
• 統合された信頼度スコアに基づいて、カテゴリごとに動的にしきい値を設定することで、偽ラベル生成の信頼性を向上させる。
• カテゴリごとの信頼度スコアを用いて損失関数を再重み付けし、クラス不均衡を緩和。特に代表度が低いクラスに高い重みを割り当てる。
• データオーグメンテーションを組み合わせた教師-学生フレームワークに本手法を統合し、適応的かつ洗練された偽ラベルに基づく教師付き学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 物体検出における局所化信頼度を効果的に推定する方法は何か？ これにより偽ラベルの品質がどのように向上するか？
• RQ2 信頼度スコアに基づく動的しきい値設定は、半教師付き物体検出における偽ラベルの信頼性をどの程度向上させるか？
• RQ3 カテゴリごとの信頼度スコアを用いた損失関数の再重み付けは、SSODにおける長尾クラス分布の影響を軽減できるか？
• RQ4 低ラベルレジーム下での精度と一般化性能の観点から、本手法は最先端のSSOD手法と比較してどの程度優れているか？

主な発見

• 標準的な訓練スケジュール下で、COCOおよびPASCAL VOCの最先端SSOD手法に対して1–2%の絶対的なAP向上を達成した。
• COCOの1–10%ラベル付きデータレジーム下では、教師モデルのベースラインを最大10%のAP向上させた。これは、極めて少ないラベルで優れた一般化性能を示している。
• 動的しきい値設定とクラス別損失再重み付け機構により、長尾クラス分布がモデル収束に与える悪影響が顕著に軽減された。
• 局所化を分類として定式化することで、信頼性が高く微分可能な局所化品質の指標が得られ、低信頼度の偽ボックスのフィルタリングがより効果的になった。
• 本手法は既存のSSOD技術と直交的であり、Unbiased Teacher や Instant-Teaching といった最先端のベースラインと組み合わせても一貫した性能向上を示した。
• 広範なアブレーションスタディにより、信頼性を考慮した偽ラベル生成と動的しきい値戦略が、性能向上に不可欠であることが確認された。