[論文レビュー] Data-Uncertainty Guided Multi-Phase Learning for Semi-Supervised Object Detection

Zhenyu Wang, Yali Li+3 more|arXiv (Cornell University)|Mar 29, 2021

Advanced Neural Network Applications参考文献 50被引用数 5

ひとこと要約

本論文は、異なる訓練フェーズにおいて容易な画像と難しい画像を分離することで、モデルのロバスト性を向上させるデータ不確実性誘導型マルチフェーズ学習フレームワークを提案する。画像レベルの不確実性を用いたデータ選択と、領域レベルの不確実性を用いたRoI再重み付けにより、ノイズへの過学習を低減し、SOTA（最先端）の性能を達成した。PASCAL VOCでは2%以上、MS COCOでは3%以上、先行手法を上回った。

ABSTRACT

In this paper, we delve into semi-supervised object detection where unlabeled images are leveraged to break through the upper bound of fully-supervised object detection models. Previous semi-supervised methods based on pseudo labels are severely degenerated by noise and prone to overfit to noisy labels, thus are deficient in learning different unlabeled knowledge well. To address this issue, we propose a data-uncertainty guided multi-phase learning method for semi-supervised object detection. We comprehensively consider divergent types of unlabeled images according to their difficulty levels, utilize them in different phases and ensemble models from different phases together to generate ultimate results. Image uncertainty guided easy data selection and region uncertainty guided RoI Re-weighting are involved in multi-phase learning and enable the detector to concentrate on more certain knowledge. Through extensive experiments on PASCAL VOC and MS COCO, we demonstrate that our method behaves extraordinarily compared to baseline approaches and outperforms them by a large margin, more than 3% on VOC and 2% on COCO.

研究の動機と目的

• 深層モデルから得られるノイズの多い偽ラベルが、未ラベルデータからの学習を妨げる半教師ありオブジェクト検出におけるラベルノイズへの過学習問題に対処する。
• 異なる難易度の画像をバランスよく学習できない1フェーズ訓練手法の限界を克服する。
• データの不確実性に基づいて訓練を段階的に構造化することで、より容易で信頼性の高いサンプルを最初に焦点的に学習させることで、モデルの一般化性能を向上させる。
• 訓練中に領域レベルの不確実性に基づくRoI再重み付けを導入することで、特徴マップ内のノイズの多い領域の影響を低減する。
• 不確実性に配慮したマルチフェーズ学習により、未ラベルデータを効果的に活用することで、標準ベンチマークで最先端の性能を達成する。

提案手法

• 初期フェーズでは低不確実性（容易）の画像を優先するように、未ラベル画像の選択を画像レベルの不確実性推定で誘導する。
• 容易な画像から順に学習を行う段階的訓練パイプラインを実装し、画像の難易度に応じた特化を可能にする。
• 背景領域間の類似性と被覆度に基づいて領域レベルの不確実性を測定し、ノイズや曖昧な領域を特定する。
• 訓練中に領域不確実性スコアを用いてRoI再重み付けを実施し、不確実な領域からの勾配寄与を低減することで、信頼性の高い検出に注目を向ける。
• 推論時に異なるフェーズからのアンサンブルモデルを統合し、容易および困難なサンプルからの知識を組み合わせて全体の検出性能を向上させる。
• デフォルトとして2フェーズ学習戦略を採用し、VOCおよびCOCOデータセットにおける実験的検証で、2フェーズを超えると利得が著しく低下することが示された。

実験結果

リサーチクエスチョン

• RQ1 データ不確実性に誘導されたマルチフェーズ訓練戦略は、1フェーズの偽ラベル手法と比較して、半教師ありオブジェクト検出性能を向上させることができるか？
• RQ2 フェーズごとに容易および困難な未ラベル画像を分離することで、モデルの一般化性能とノイズへの過学習はどのように変化するか？
• RQ3 領域レベルの不確実性推定は、背景領域におけるノイズの多い偽ラベルの影響をどの程度低減できるか？
• RQ4 標準ベンチマークでのmAPを最大化するための最初の訓練フェーズにおける容易な未ラベル画像の最適割合は何か？
• RQ5 MS COCOのような複雑なデータセットにおいて、2フェーズを超えて訓練フェーズを増加させることで顕著な性能向上が得られるか？

主な発見

• PASCAL VOC 2007テストセットでは78.6%のmAPを達成し、前回のSOTAを2.4ポイント上回った。
• MS COCO minivalでは42.3%のmAPを達成し、前回のSOTAを2.2ポイント上回った。
• 2フェーズ学習が最良の性能を示し、最初のフェーズで約50%の未ラベル画像を使用した場合、mAPが76.8%にピークに達した。
• 容易な画像の割合が50%を超えると、後続フェーズでのラベルノイズへの過学習が増加し、性能が低下した。
• 3フェーズまたは4フェーズに拡張しても、わずかな利得（例：VOCでは78.9%）しか得られず、2フェーズを超えると利得が減少することが示された。
• 領域不確実性に基づくRoI再重み付けは、曖昧な背景領域の影響を効果的に低減し、検出の信頼性を向上させた。