[論文レビュー] Proposal Learning for Semi-Supervised Object Detection

Peng Tang, Chetan Ramaiah+3 more|arXiv (Cornell University)|Jan 15, 2020

Advanced Neural Network Applications参考文献 61被引用数 11

ひとこと要約

本論文は、ラベル付きデータとラベルなしデータの両方を活用する、2段階検出器向けの半教師付きオブジェクト検出フレームワークを提案する。新規のプロポーザル学習アプローチを用い、自己教師付きモジュール（プロポーザル位置損失と対照的損失）と、分類および回帰予測の整合性を強制するモジュールを導入し、データ distillation を組み合わせることで、COCO で完全教師ありベースライン比で平均 AP 2.0% の向上を達成した。

ABSTRACT

In this paper, we focus on semi-supervised object detection to boost performance of proposal-based object detectors (a.k.a. two-stage object detectors) by training on both labeled and unlabeled data. However, it is non-trivial to train object detectors on unlabeled data due to the unavailability of ground truth labels. To address this problem, we present a proposal learning approach to learn proposal features and predictions from both labeled and unlabeled data. The approach consists of a self-supervised proposal learning module and a consistency-based proposal learning module. In the self-supervised proposal learning module, we present a proposal location loss and a contrastive loss to learn context-aware and noise-robust proposal features respectively. In the consistency-based proposal learning module, we apply consistency losses to both bounding box classification and regression predictions of proposals to learn noise-robust proposal features and predictions. Our approach enjoys the following benefits: 1) encouraging more context information to delivered in the proposals learning procedure; 2) noisy proposal features and enforcing consistency to allow noise-robust object detection; 3) building a general and high-performance semi-supervised object detection framework, which can be easily adapted to proposal-based object detectors with different backbone architectures. Experiments are conducted on the COCO dataset with all available labeled and unlabeled data. Results demonstrate that our approach consistently improves the performance of fully-supervised baselines. In particular, after combining with data distillation, our approach improves AP by about 2.0% and 0.9% on average compared to fully-supervised baselines and data distillation baselines respectively.

研究の動機と目的

• ラベルなしデータを活用することで、2段階オブジェクト検出器の性能を向上させること。
• アノテーションの欠如により、ラベルなしデータでオブジェクト検出器を訓練するという課題に対処すること。
• ラベルなしサンプルに対して依存せずに、文脈に配慮した特徴およびノイズに強いプロポーザル特徴と予測を学習すること。
• さまざまなバックボーンアーキテクチャに対応可能な汎用的なフレームワークを設計すること。
• プロポーザル学習とデータ distillation の相乗効果を活用し、さらなる性能向上を実現すること。

提案手法

• プロポーザル位置損失を用いて、プロポーザル位置の予測を通じて文脈に配慮した特徴学習を促進する、自己教師付きプロポーザル学習モジュールを導入する。
• ノイズありおよび元のプロポーザル特徴の間で対照的損失を適用し、ノイズに強い表現を学習する。ノイズは特徴に直接適用することで、訓練効率を向上させる。
• 元の特徴とノイズあり特徴の両方で予測の整合性を保つための二重整合性損失を備えた、整合性に基づくプロポーザル学習モジュールを適用する。このモジュールは、バウンディングボックス分類と回帰予測の両方の整合性を保証する。
• 元のプロポーザルとノイズありプロポーザルの両方で同じ特徴抽出器を用いることで、計算を共有し、訓練効率を向上させる。
• 特徴ピラミッドネットワークと RoIAlign を備えた Faster R-CNN に、提案手法のモジュールを統合し、複数のバックボーンアーキテクチャをサポートする。
• 提案手法をデータ distillation および高速確率的重み平均化（FSWA）と組み合わせることで、さらなる性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 自己教師学習は、半教師付きオブジェクト検出におけるプロポーザル特徴学習に効果的に適応可能か？
• RQ2 ノイズありおよびクリアなバージョンのプロポーザル特徴における予測の整合性は、オブジェクト検出におけるロバストネスをどのように向上させるか？
• RQ3 ラベル付きおよびラベルなしデータの両方で学習した場合、プロポーザル学習は2段階検出器の性能をどの程度向上させるか？
• RQ4 提案手法は、既存のデータ distillation 技術と相乗効果を示すか？
• RQ5 本フレームワークは、2段階検出器におけるさまざまなバックボーンアーキテクチャに一般化可能か？

主な発見

• データ distillation を組み合わせた場合、COCO test-dev2017 データセットで完全教師ありベースライン比で平均 AP 2.0% 向上した。
• 単体で使用した場合でも、データ distillation と同等の性能を達成し、半教師あり設定下での有効性を示した。
• プロポーザル学習とデータ distillation の組み合わせにより、ResNet-50 で 39.6%、ResNet-101 で 41.3%、ResNeXt-101-32×4d で 42.8%、ResNeXt-101-32×4d+DCN で 46.2% の AP を達成した。
• データ distillation 単体よりも平均で 0.9% の AP 向上を達成しており、相乗効果が示された。
• 高速確率的重み平均化（FSWA）は、完全教師ありベースラインよりも提案手法に対してより大きな性能向上をもたらした。これは、本手法とフレームワークとの相性の良さを示している。
• アブレーションスタディにより、自己教師付きモジュールと整合性ベースモジュールの両方が性能向上に顕著な貢献をしていることが確認され、完全な手法がアブレーションバージョンを上回った。