[論文レビュー] Towards End-to-end Semi-supervised Learning for One-stage Object Detection

Gen Luo, Yiyi Zhou+3 more|arXiv (Cornell University)|Feb 22, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

この論文では、YOLOv5 などの一段階検出器におけるエンドツーエンドの半教師付きオブジェクト検出のための新規な教師-生徒フレームワーク OneTeacher を提案する。低品質な疑似ラベル付与とマルチタスク最適化の矛盾を、Multi-view Pseudo-label Refinement (MPR) と Decoupled Semi-supervised Optimization (DSO) により解決し、COCO において Unbiased Teacher よりも相対的に 15.0% の AP 向上を達成した。

ABSTRACT

Semi-supervised object detection (SSOD) is a research hot spot in computer vision, which can greatly reduce the requirement for expensive bounding-box annotations. Despite great success, existing progress mainly focuses on two-stage detection networks like FasterRCNN, while the research on one-stage detectors is often ignored. In this paper, we focus on the semi-supervised learning for the advanced and popular one-stage detection network YOLOv5. Compared with Faster-RCNN, the implementation of YOLOv5 is much more complex, and the various training techniques used in YOLOv5 can also reduce the benefit of SSOD. In addition to this challenge, we also reveal two key issues in one-stage SSOD, which are low-quality pseudo-labeling and multi-task optimization conflict, respectively. To address these issues, we propose a novel teacher-student learning recipe called OneTeacher with two innovative designs, namely Multi-view Pseudo-label Refinement (MPR) and Decoupled Semi-supervised Optimization (DSO). In particular, MPR improves the quality of pseudo-labels via augmented-view refinement and global-view filtering, and DSO handles the joint optimization conflicts via structure tweaks and task-specific pseudo-labeling. In addition, we also carefully revise the implementation of YOLOv5 to maximize the benefits of SSOD, which is also shared with the existing SSOD methods for fair comparison. To validate OneTeacher, we conduct extensive experiments on COCO and Pascal VOC. The extensive experiments show that OneTeacher can not only achieve superior performance than the compared methods, e.g., 15.0% relative AP gains over Unbiased Teacher, but also well handle the key issues in one-stage SSOD. Our source code is available at: https://github.com/luogen1996/OneTeacher.

研究の動機と目的

• 広く使用されているが、既存の SSOD 研究においてはあまり注目されていない、YOLOv5 のような一段階検出器における半教師付きオブジェクト検出の未解決課題に取り組む。
• 一連の SSOD における二大問題、すなわち多数のアーキテクチャを介した高密度予測による低品質な疑似ラベル付与と、共通のラベル基準による分類・回帰のマルチタスク最適化の矛盾を特定・解決する。
• YOLOv5 の実装を一新することで、教師-生徒学習の恩恵を最大限に引き出し、SSOD のベストプラクティスに適合させる。
• エンドツーエンドの半教師付き学習を可能にする新しいトレーニングレシピを提案し、性能とロバスト性の両方を向上させる。

提案手法

• Augmented-view 比較とグローバルビューのフィルタリングを用いて、偽ラベル品質を向上させる Multi-view Pseudo-label Refinement (MPR) を導入する。
• ネットワーク構造を変更することで分類と回帰ヘッドを分離し、タスク固有の疑似ラベル付与を可能にする Decoupled Semi-supervised Optimization (DSO) を実装する。
• 元画像と増幅画像間の整合性チェックを用いたインスタンスレベルの精錬を実施し、疑似ラベルのロバスト性を向上させる。
• 画像レベルの予測を用いて低信頼度の疑似ラベルをフィルタリングし、誤検出を低減して全体的なラベル品質を向上させる。
• YOLOv5 のトレーニングパイプラインを、高度なデータオーグメンテーションおよび最適化技術（例：コサイン減衰、EMA）を統合することで、SSOD のパフォーマンスを最大化する。
• 分類（0.4）と回帰（0.4）のそれぞれに別々の疑似ラベル付与閾値を適用し、一連の検出器におけるノイズ耐性の違いを反映させる。

Figure 1 : Qualities of pseudo-labels of YOLOv5 [ 22 ] and FasterRCNN [ 7 ] in Unbiased Teacher [ 11 ] . The subplots of (a) and (b) show that the average pseudo-label quality of YOLOv5 is much lower than that of FasterRCNN, especially in the initial training phase. Subplot (c) illustrates the diffe

実験結果

リサーチクエスチョン

• RQ1 なぜ既存の教師-生徒手法は、二段階モデルと比較して YOLOv5 のような一連の検出器では性能を発揮しないのか？
• RQ2 高密度なアノテーション予測に起因するノイズの多い環境下で、一連の検出器における疑似ラベル品質をどのように向上させられるか？
• RQ3 分類と回帰のマルチタスク最適化の矛盾が、一連の SSOD において性能に与える影響はどの程度で、どのように緩和できるか？
• RQ4 YOLov5 の半教師付き学習設定において、データオーグメンテーションと疑似ラベル付与閾値の最適な設定は何か？
• RQ5 一連の検出器の固有のアーキテクチャを損なわずに、半教師付き学習の恩恵を最大限に引き出す統一されたトレーニングレシピを設計可能か？

主な発見

• OneTeacher は、標準的な 1× 設定下で COCO において Unbiased Teacher よりも相対的に 15.0% の AP 向上を達成し、一連の SSOD における優れたパフォーマンスを示した。
• 提案された MPR 機構は、誤検出の削減と以前に見逃されていたオブジェクトの検出性向上によって、疑似ラベル品質の顕著な向上を可視化した。
• DSO は分類と回帰ヘッドの分離により、マルチタスク最適化の矛盾を効果的に解消し、収束速度の向上とパフォーマンスの向上を実現した。
• 標準的な二段階 SSOD スキームではなく、YOLOv5 固有のデータオーグメンテーションを採用することで、mAP が 13.5 ポイント向上した。これは、モデル固有の実装の重要性を示している。
• YOLOv5 の最適な疑似ラベル付与閾値は、分類・回帰ともに 0.4 であり、FasterRCNN で用いられる 0.7 よりもはるかに低いことが判明した。これは、一連の検出器がノイズに対してより感受性が高いことを示唆している。
• アブレーションスタディにより、MPR における増幅ビューの精錬が、フィルタリングなしの平均化によるノイズ拡大を回避する Flip Ensemble よりも優れていることが確認された。

Figure 2 : The framework of OneTeacher. The teacher network produces high-quality pseudo-labels for the student by the proposed Multi-view Pseudo-label Refinement (MPR). Its parameters are updated from the student ones via EMA [ 14 ] . OneTeacher also deploys a novel Decoupled-Semi-supervised Optimi