[論文レビュー] Semi-supervised Object Detection: A Survey on Recent Research and Progress

Yanyang Wang, Zhaoxiang Liu+1 more|arXiv (Cornell University)|Jun 25, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本サーベイは、疑似ラベル付け、一貫性正則化、グラフベース、転移学習戦略に分類される半教師付きオブジェクト検出（SSOD）手法の包括的概要を提供する。MS-COCOおよびPASCAL-VOCで最先端の結果を提示しており、Dense Teacher や Label Match といった手法は、低ラベルレジーム下でそれぞれ AP50:95 が 37% を超え、56.8% を記録した。

ABSTRACT

In recent years, deep learning technology has been maturely applied in the field of object detection, and most algorithms tend to be supervised learning. However, a large amount of labeled data requires high costs of human resources, which brings about low efficiency and limitations. Semi-supervised object detection (SSOD) has been paid more and more attentions due to its high research value and practicability. It is designed to learn information by using small amounts of labeled data and large amounts of unlabeled data. In this paper, we present a comprehensive and up-to-date survey on the SSOD approaches from five aspects. We first briefly introduce several ways of data augmentation. Then, we dive the mainstream semi-supervised strategies into pseudo labels, consistent regularization, graph based and transfer learning based methods, and introduce some methods in challenging settings. We further present widely-used loss functions, and then we outline the common benchmark datasets and compare the accuracy among different representative approaches. Finally, we conclude this paper and present some promising research directions for the future. Our survey aims to provide researchers and practitioners new to the field as well as more advanced readers with a solid understanding of the main approaches developed over the past few years.

研究の動機と目的

• 大規模データセットのラベリングにかかる高コストを鑑み、半教師付きオブジェクト検出（SSOD）分野における最近の進展を体系的にレビューすること。
• 疑似ラベル付け、一貫性正則化、グラフベース学習、転移学習といったコア戦略に基づいて、SSOD手法を分析・分類すること。
• MS-COCO や PASCAL-VOC といった標準ベンチマーク上で、標準指標（AP50、AP50:95）を用いて主要なSSOD手法の性能を評価すること。
• 確認バイアス、ノイズの多い疑似ラベル、未ラベルデータにおけるクラス不均衡といった主な課題を特定し、今後の研究方向性を提案すること。
• SSOD分野に新たに参入する研究者や実務家にとって基盤となる参考資料を提供し、手法論的イノベーションと実務的トレードオフに関する洞察を提供すること。

提案手法

• SSODアプローチを4つの主要戦略に分類する：疑似ラベル付け、一貫性正則化、グラフベース手法、転移学習に基づく技術。
• 特に強力なデータ増強を用いて、異なる増幅ビュー間での予測の一貫性とモデルのロバスト性を向上させる手法をレビューする。
• 交差エントロピー損失や一貫性損失といった広く用いられる損失関数を分析し、ラベル付きおよび未ラベル付きデータを用いたモデル訓練を最適化する。
• MS-COCO や PASCAL-VOC といった標準ベンチマークを用いて手法を評価し、ラベル付きデータを1%または5%に制限し、残りを未ラベルデータとして扱う訓練プロトコルを採用する。
• ソフトラベル、ドメインワイドガイドランス、ポイントベースラベルといった高度な技術を導入し、疑似ラベルの品質を向上させ、NMS やしきい値処理への依存を低減する。
• 教師-生徒 distillation、反復的精練、自己学習メカニズムを含む、トレーニングパイプラインに基づくSSODフレームワークの分類体系を提案する。

Figure 1: Taxonomy of SSOD from the process perspective.

実験結果

リサーチクエスチョン

• RQ1 疑似ラベル付け、一貫性正則化、グラフベース、転移学習といった異なる半教師付き戦略は、オブジェクト検出ベンチマーク上で性能とロバスト性においてどのように比較されるか？
• RQ2 高品質な疑似ラベルを生成するにあたり、主な課題は何か？近年の手法は、確認バイアスやノイズの多いラベルといった問題をどのように軽減しているか？
• RQ3 ソフトラベル、ポイントラベル、ドメインワイドガイドランスといった異なるラベル形式は、ラベル数が少ない環境下での検出精度とトレーニング効率にどのように影響を与えるか？
• RQ4 現在のSSOD手法は、クラス不均衡やノイズを含む未ラベルデータを含む実世界のシナリオにどの程度一般化可能か？
• RQ5 半教師付きオブジェクト検出におけるモデル一般化を向上させるために、最も効果的なデータ増強法と損失関数は何か？

主な発見

• Dense Teacher は、MS-COCO で1%のラベルデータのみを用いて AP50:95 が 37.13±0.12 を達成し、ドメインワイドガイドランスとソフトラベル学習の有効性を示した。
• Label Match は、PASCAL-VOC で最高の AP50:95 である 56.80±0.18 を記録し、高品質な疑似ラベルとバランスの取れた教師プロポーザルを活用することで他の手法を上回った。
• Soft Teacher や Cross Rectify といった手法は、MS-COCO で1%のラベルデータを用いても AP50:95 が34%を超える成績を示し、低監視環境下での強力な性能を示した。
• ソフトラベルとバランスの取れた領域プロポーザルの使用は、NMS やしきい値処理といった後処理ステップの必要性を顕著に低減した。
• 現在のSOTA手法はノイズの多い未ラベルデータに対して強いロバスト性を示しているが、未ラベルセットにクラス不均衡が存在する場合には性能が低下する傾向にある。
• 強力なデータ増強と一貫性正則化の組み合わせは、特に低データレジーム下で複数のベンチマークで一貫した性能向上をもたらした。

Figure 2: The generation process of pseudo labels.