[論文レビュー] WSSOD: A New Pipeline for Weakly- and Semi-Supervised Object Detection

Shijie Fang, Yuhang Cao+4 more|arXiv (Cornell University)|May 21, 2021

Advanced Neural Network Applications参考文献 39被引用数 5

ひとこと要約

本稿では、完全にアノテートされたデータの少量と、画像レベルのラベルのみを備えた豊富な弱いアノテーション画像を併用することで、弱学習および半教師ありオブジェクト検出の新規二段階フレームワークWSSODを提案する。グローバル分類損失とラベルアテンションを用いて、両方のデータタイプでエージェント検出器を訓練し、次にランダムな偽ラベルサンプリング（RPS）戦略により高品質な疑似バウンディングボックスを生成することで、WSSODはCOCOで30%のアノテーションのみで36.1%のmAPを達成し、完全教師あり学習の37.6%のmAPにほぼ並ぶ性能を発揮した。

ABSTRACT

The performance of object detection, to a great extent, depends on the availability of large annotated datasets. To alleviate the annotation cost, the research community has explored a number of ways to exploit unlabeled or weakly labeled data. However, such efforts have met with limited success so far. In this work, we revisit the problem with a pragmatic standpoint, trying to explore a new balance between detection performance and annotation cost by jointly exploiting fully and weakly annotated data. Specifically, we propose a weakly- and semi-supervised object detection framework (WSSOD), which involves a two-stage learning procedure. An agent detector is first trained on a joint dataset and then used to predict pseudo bounding boxes on weakly-annotated images. The underlying assumptions in the current as well as common semi-supervised pipelines are also carefully examined under a unified EM formulation. On top of this framework, weakly-supervised loss (WSL), label attention and random pseudo-label sampling (RPS) strategies are introduced to relax these assumptions, bringing additional improvement on the efficacy of the detection pipeline. The proposed framework demonstrates remarkable performance on PASCAL-VOC and MSCOCO benchmark, achieving a high performance comparable to those obtained in fully-supervised settings, with only one third of the annotations.

研究の動機と目的

• 限定的な完全アノテーションデータと豊富な弱いアノテーションデータを統合的に活用することで、完全教師ありと弱学習／半教師ありオブジェクト検出の性能ギャップを埋めること。
• 従来のしきい値ベースのラベル生成における仮定を緩和することで、半教師あり設定における偽ラベル品質を向上させること。
• 弱学習および半教師あり検出におけるより強固で理論的に裏付けられた訓練パイプラインを、統一されたEMフレームワークの下で開発すること。
• 偽ラベルの精練とモデル初期化の改善を通じて、アノテーションコストを最小限に抑えながら検出性能を最大化すること。

提案手法

• 二段階のEMベースのパイプラインを提案：まず、完全アノテーションデータおよび弱いアノテーションデータの両方でエージェント検出器を訓練し、隠れたバウンディングボックスの事後確率を推定する。
• 第1段階では、弱いアノテーションデータを活用するため、グローバル分類損失を用いることで、完全教師ありベースラインを上回るエージェント検出器の性能を向上させる。
• 提案されたラベルアテンションモジュールにより、提案領域内のコンテキストおよびカテゴリ関係をモデル化することで、特徴表現を強化する。
• 固定しきい値の仮定を回避するため、予測確率から直接サンプリングするランダムな偽ラベルサンプリング（RPS）モジュールを設計し、より信頼性の高い偽ラベルを生成する。
• 第2段階では、ターゲット検出器を完全アノテーションデータおよび疑似ラベル化された弱いアノテーションデータで訓練し、EMフレームワークにおける同時尤度を最大化する。
• 本フレームワークはPASCOCOおよびVOCベンチマークで検証され、最小限のアノテーションコストで優れた汎化性能を示した。

実験結果

リサーチクエスチョン

• RQ1 隠れたバウンディングボックスの事後確率をより正確に推定することで、統一されたEMフレームワークが弱学習および半教師ありオブジェクト検出の信頼性と性能を向上させられるか？
• RQ2 第1段階で完全アノテーションデータおよび弱いアノテーションデータを併用して訓練することで、エージェント検出器が正確な疑似ラベルを生成する能力がどのように向上するか？
• RQ3 グローバル分類損失とラベルアテンションは、完全教師ありベースラインと比較して、エージェント検出器の性能をどの程度向上させられるか？
• RQ4 ランダムな偽ラベルサンプリング（RPS）は、固定しきい値の偽ラベル生成と比較して、検出精度およびロバスト性において優れているか？
• RQ5 提案されたWSSODパイプラインは、完全アノテーションの一部にとどまる場合でも、完全教師あり学習にほぼ並ぶ性能を達成できるか？

主な発見

• グローバル分類損失とラベルアテンションを用いて訓練されたエージェント検出器は、COCOで10%のアノテーションプロトコル下で28.9%のmAPを達成し、同じ訓練イテレーション数の完全教師ありベースライン（24.1%）を4.8%上回った。
• ターゲット検出器はCOCOで30%の完全アノテーションのみで36.1%のmAPを達成し、完全教師ありベースラインの37.6%にほぼ並んだ。
• PASCOCOでは、WSSODパイプラインが78.9%のAPを達成し、完全アノテーションベースラインからわずか0.9%しか差がなく、最小限のアノテーションコストで優れた性能を示した。
• RPSモジュールは、COCOおよびVOCの両データセットで固定しきい値の偽ラベル生成を上回り、設定に応じて0.2–3.2%のmAP向上を示した。
• アブレーションスタディにより、グローバル分類損失とラベルアテンションが、10%プロトコル下でCOCOのエージェント検出器性能を合計4.8% mAP向上させたことが確認された。
• 提案手法は、手動アノテーションへの依存を顕著に低減しながら高い検出精度を維持でき、実世界の産業応用に実用的であることが示された。