[論文レビュー] Semi-Supervised Object Detection with Adaptive Class-Rebalancing Self-Training

Fangyuan Zhang, Tianxiang Pan+1 more|arXiv (Cornell University)|Jul 11, 2021

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿では、ラベル付きおよびラベルなしデータから前景インスタンスを抽出・再結合するための新規メモリモジュール「CropBank」を備えた、自己教師付きオブジェクト検出手法である適応的クラス再バランス自己訓練（ACRST）を提案する。前景-背景および前景-前景のクラス不均衡を、前景-背景再バランス（FBR）と適応的前景-前景再バランス（AFFR）によって同時に解消し、分類スコアと画像レベルの偽ラベルを用いた二段階フィルタリング機構を採用することで、1% COCO標準ベンチマークにおいて従来手法比でmAPを5.32向上させ、最先端の性能を達成した。

ABSTRACT

This study delves into semi-supervised object detection (SSOD) to improve detector performance with additional unlabeled data. State-of-the-art SSOD performance has been achieved recently by self-training, in which training supervision consists of ground truths and pseudo-labels. In current studies, we observe that class imbalance in SSOD severely impedes the effectiveness of self-training. To address the class imbalance, we propose adaptive class-rebalancing self-training (ACRST) with a novel memory module called CropBank. ACRST adaptively rebalances the training data with foreground instances extracted from the CropBank, thereby alleviating the class imbalance. Owing to the high complexity of detection tasks, we observe that both self-training and data-rebalancing suffer from noisy pseudo-labels in SSOD. Therefore, we propose a novel two-stage filtering algorithm to generate accurate pseudo-labels. Our method achieves satisfactory improvements on MS-COCO and VOC benchmarks. When using only 1\% labeled data in MS-COCO, our method achieves 17.02 mAP improvement over supervised baselines, and 5.32 mAP improvement compared with state-of-the-art methods.

研究の動機と目的

• 自己教師付きオブジェクト検出（SSOD）における深刻なクラス不均衡、特に前景-背景および前景-前景の不均衡を是正し、自己訓練の効果を高めること。
• 分類タスクに特化した従来の自己訓練手法は、複雑なデータ分布とノイズの多い偽ラベルの影響を受けて検出タスクでは最適でないため、その限界を克服すること。
• エンタングルされたオブジェクトインスタンスを分離し、適応的かつバランスの取れたトレーニングを可能にする検出タスク特化型のデータオーグメンテーションおよび再バランス機構を開発すること。
• 分類スコアとハイレベルな画像レベルの偽ラベルを用いた二段階フィルタリング機構を導入することで、自己訓練におけるノイズを低減し、偽ラベルの品質を向上させること。
• 最小限のラベル付きデータ（特に1%ラベル付きデータなどの低データ環境）でも、MS-COCOおよびVOCベンチマークで最先端の性能を達成すること。

提案手法

• ラベル付きおよびラベルなしデータから前景インスタンス（正例および偽ラベル）を格納・取得するためのメモリモジュール「CropBank」を導入し、データの再結合を実現する。
• 前景インスタンスの割合を向上させるために、CropBankから抽出した前景インスタンスを用いてトレーニング画像を拡張する前景-背景再バランス（FBR）を設計する。
• 偽リCALL基準を用いて、偽ラベルにおける未代表的クラスを検出し、優先的に処理する、適応的前景-前景再バランス（AFFR）を提案する。
• 二段階フィルタリングアルゴリズムを実装：まず低スコア予測をフィルタリングし、次に半教師付きマルチラベル分類モジュールから得られる画像レベルの偽ラベルと整合しない予測をさらにフィルタリングする。
• フィルタリング機構を自己訓練ループに統合し、再バランス化され、高品質な偽ラベルが付与されたデータ上で検出器の性能を段階的に向上させる。
• 選択的監視を用いて、不完全な予測を新たな背景に転送することで、回帰精度を向上させ、検出ターゲットのノイズを低減する。

実験結果

リサーチクエスチョン

• RQ1 データ再重み付けとオーグメンテーションを用いて、自己教師付きオブジェクト検出における前景-背景クラス不均衡をどのように効果的に是正できるか？
• RQ2 偽リCALLとスコア指標に基づく適応的サンプリングにより、偽ラベルにおける前景-前景クラス不均衡はどの程度低減可能か？
• RQ3 画像レベルの意味的特徴（画像レベルの偽ラベル）を用いることで、信頼度のみに依存するフィルタリングに比べ、検出タスクにおける偽ラベルフィルタリングの信頼性は向上するか？
• RQ4 検出タスク特化型のメモリモジュール（CropBank）を統合することで、MixUp や CutMix といった標準的手法に比べ、データオーグメンテーションと再バランスの効果はどのように向上するか？
• RQ5 偽ラベルのノイズが自己訓練の収束に与える影響は何か？複雑な検出シナリオにおいて、そのノイズはどのように体系的に低減できるか？

主な発見

• 1% COCO標準ベンチマークにおいて、ACRSTは完全教師ありベースライン比で17.02 mAP向上を達成し、最先端手法比でも5.32 mAPの向上を示した。
• 二段階フィルタリング機構により、偽ラベルの正確性が0.735から0.792に向上し、mAPも20.75から23.48に向上した。信頼度と画像レベルの意味的特徴を組み合わせた有効性が裏付けられた。
• CropBankは、STACベースラインにおけるMixUpおよびMosaicオーグメンテーションと比較して、AP_{50:95}を0.85ポイント向上（16.00から16.85に）。
• 適応的前景-前景再バランス（AFFR）機構により、二段階マイニング設定下で偽ラベルリCALLが0.299から0.376に向上し、レアクラスのカバー率が向上した。
• VOC07ベンチマークでは、VOC07のラベル付きデータのみを用いても、最先端手法比で1.43 mAPの向上を達成した。
• 実験結果から、偽ラベルの正確性が再現率よりも重要であることが示され、一時的フィルタリングに比べ、二段階フィルタリング戦略では再現率が低くても2.73 mAPの向上を達成した。