[論文レビュー] Salvage of Supervision in Weakly Supervised Object Detection

Sui Lin, Chen-Lin Zhang+1 more|arXiv (Cornell University)|Jun 8, 2021

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、画像ラベル、高精度の偽ボックスアノテーション、およびノイジーサンプルを含む自己教師付き学習を活用することで、弱教師付き物体検出を向上させる三段階フレームワークであるSalvage of Supervision (SoS-WSOD) を提案する。ResNet や RoIAlign、FPN といった最新の完全教師付き検出技術を統合することで、SoS-WSOD は VOC2007 で 64.4 mAP50、VOC2012 で 61.9 mAP50、MS-COCO で 16.6 mAP50:95 の最先端性能を達成するとともに、外部の提案生成を排除することで高速な推論を実現した。

ABSTRACT

Weakly supervised object detection~(WSOD) has recently attracted much attention. However, the lack of bounding-box supervision makes its accuracy much lower than fully supervised object detection (FSOD), and currently modern FSOD techniques cannot be applied to WSOD. To bridge the performance and technical gaps between WSOD and FSOD, this paper proposes a new framework, Salvage of Supervision (SoS), with the key idea being to harness every potentially useful supervisory signal in WSOD: the weak image-level labels, the pseudo-labels, and the power of semi-supervised object detection. This paper proposes new approaches to utilize these weak and noisy signals effectively, and shows that each type of supervisory signal brings in notable improvements, outperforms existing WSOD methods (which mainly use only the weak labels) by large margins. The proposed SoS-WSOD method also has the ability to freely use modern FSOD techniques. SoS-WSOD achieves 64.4 $m ext{AP}_{50}$ on VOC2007, 61.9 $m ext{AP}_{50}$ on VOC2012 and 16.6 $m ext{AP}_{50:95}$ on MS-COCO, and also has fast inference speed. Ablations and visualization further verify the effectiveness of SoS.

研究の動機と目的

• 弱教師付き物体検出 (WSOD) と完全教師付き物体検出 (FSOD) の間の性能および技術的格差を解消し、これにより WSOD が古くなったアーキテクチャや遅い推論に限定されるのを防ぐこと。
• WSOD における監視信号の未利用状態、特に偽ボックスアノテーションや未ラベルデータの有効活用の不足に取り組むこと。
• ResNet バックボーン、RoIAlign、FPN といった最新の FSOD 技術を、偽監視信号とノイズの多いラベル学習を効果的に活用できるフレームワークを構築することで、WSOD がこれら技術の恩恵を最大限に得られるようにすること。
• 三段階パイプラインを導入することで、監視信号を体系的に回収・再利用し、WSOD の精度と速度を向上させること。

提案手法

• 段階1では、画像ラベルのみを用いて弱教師付き検出器を訓練し、PGF と呼ばれる新しい後処理モジュールを備えた改良型 OICR ベース手法を採用して検出結果をフィルタリング・精錬する。
• 段階2では、PGF モジュールを介して高精度の偽ボックスアノテーションを生成し、ResNet や RoIAlign、FPN といった最新の FSOD 技術を活用する偽 FSOD 学習フェーズを実施する。
• 段階3では、訓練データセットを「クリーン（ラベルあり）」と「ノイズ（未ラベル）」のサブセットに分割することで、新しい自己教師付き物体検出（SSOD）設定を導入し、クラス分布のバランスを保ちつつノイズの影響を低減するルール of thumb を適用する。
• PGF モジュールは、$t_{keep}$ と $t_{con}$ の2つのハイパーパramータを用い、信頼度が低い検出結果をフィルタリングし、提案の信頼度と一貫性に基づいて偽アノテーションを精錬する。
• フレームワーク全体として、偽ラベルデータセットをノイズが含まれるものとみなして、一般化性能を向上させるとともに、不完全な偽ラベルによる誤差伝搬を低減する自己教師学習を適用する。
• 外部のオブジェクト提案生成を回避することで、エンド・トゥ・エンドの検出ヘッドに依存し、より高速な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 画像ラベルのみが利用可能な状況下で、ResNet や RoIAlign、FPN といった最新の完全教師付き物体検出技術を、弱教師付き物体検出に効果的に適用できるか。
• RQ2 弱教師付き検出器から高精度の偽ボックスアノテーションをどのように生成し、完全教師付き手法による有効なファインチューニングを可能にするか。
• RQ3 偽ラベルデータをノイズを含むものとみなして自己教師付き物体検出を有効に活用できるか。また、性能を最大化するための最適な分割戦略は何か。
• RQ4 自己教師学習段階において、ラベルありデータと未ラベルデータの最適なバランスは何か。クラスの不均衡や性能の崩壊を回避するには。
• RQ5 弱いラベル、偽ラベル、未ラベルデータといったすべての利用可能な監視信号を体系的に回収することで、WSOD の性能をどの程度向上できるか。

主な発見

• SoS-WSOD は VOC2007 で 64.4 mAP50 を達成し、画像ラベルのみを用いる従来の WSOD 手法を顕著に上回った。
• VOC2012 では 61.9 mAP50 を達成し、ボックスレベルのアノテーションが存在しないにもかかわらず、異なるデータセット間での一般化性能が優れていることが示された。
• MS-COCO では 16.6 mAP50:95 を達成し、従来の WSOD 手法に比べて顕著な改善を示し、完全教師付き検出器との差を埋めた。
• ベースラインの WSOD 手法よりも高速な推論を実現し、1枚の画像あたり 0.031 秒（RTX3090 GPU 1台）という推論時間を達成した。外部の提案生成が不要であるため、時間のかかるプロセスを排除した。
• アブレーションスタディの結果、偽 FSOD 段階と自己教師学習段階の両方が性能向上に寄与していることが確認され、特に最適な分割サイズ（VOC2007 で K=2000）を用いた自己教師学習段階が顕著に効果的であった。
• 可視化結果から、SoS-WSOD は複雑なシーンにおいてもより正確で包括的な物体検出を実現し、部品優位性やクラスタリングされた予測といった問題を効果的に低減していることが示された。