[論文レビュー] Instance-aware, Context-focused, and Memory-efficient Weakly Supervised Object Detection

Zhongzheng Ren, Zhiding Yu+5 more|arXiv (Cornell University)|Apr 9, 2020

Advanced Neural Network Applications参考文献 63被引用数 25

ひとこと要約

この論文は、弱教師付きオブジェクト検出（WSOD）のための統合的でインスタンスに注意を向けた、文脈に焦点を当てた、メモリ効率の良いフレームワークを提案する。本研究は、インスタンスの曖昧さ、部分の優位性、高いメモリ消費量の3つの主要な課題に対処する。インスタンスに注意を向けた自己訓練アルゴリズム（MIST）、文脈モデリングのための学習可能なConcrete DropBlock、および逐次バッチ逆誤差伝搬を導入することで、COCO（12.1% AP）、VOC 2007（54.9% AP）、VOC 2012（52.1% AP）で最先端の性能を達成した。さらに、ResNetベースのWSODおよび弱教師付き動画オブジェクト検出のための最初のベンチマークを可能にした。

ABSTRACT

Weakly supervised learning has emerged as a compelling tool for object detection by reducing the need for strong supervision during training. However, major challenges remain: (1) differentiation of object instances can be ambiguous; (2) detectors tend to focus on discriminative parts rather than entire objects; (3) without ground truth, object proposals have to be redundant for high recalls, causing significant memory consumption. Addressing these challenges is difficult, as it often requires to eliminate uncertainties and trivial solutions. To target these issues we develop an instance-aware and context-focused unified framework. It employs an instance-aware self-training algorithm and a learnable Concrete DropBlock while devising a memory-efficient sequential batch back-propagation. Our proposed method achieves state-of-the-art results on COCO ($12.1\% ~AP$, $24.8\% ~AP_{50}$), VOC 2007 ($54.9\% ~AP$), and VOC 2012 ($52.1\% ~AP$), improving baselines by great margins. In addition, the proposed method is the first to benchmark ResNet based models and weakly supervised video object detection. Code, models, and more details will be made available at: https://github.com/NVlabs/wetectron.

研究の動機と目的

• 弱教師付きオブジェクト検出におけるインスタンスの曖昧さを解消すること。特に、顕著性が低いか、凝集しているオブジェクトが見逃されたり、誤ってグループ化されたりするのを防ぐ。
• 検出器が特徴的な部分（例：顔）に注目し、全体のオブジェクトではなく部分に偏る「部分の優位性」を軽減すること。
• 特に動画設定において顕著なメモリ消費量を引き起こす、密なオブジェクト候補からのメモリ消費を削減すること。
• ResNetのような深層バックボーンでの学習を可能にし、弱教師付き動画オブジェクト検出に拡張すること。
• 同時に検出の頑健性、一般化性能、効率性を向上させる統合的フレームワークの開発

提案手法

• インスタンスレベルの偽ラベルを空間的多様性制約を用いて計算することで、提案選択における曖昧さを低減するインスタンスに注意を向けた自己訓練（MIST）を導入。
• 微分可能で学習可能なドロップアウト率を持つ、空間的ドロップアウトを実行する学習可能なConcrete DropBlockモジュールを提案。これにより、文脈に配慮した特徴学習を促進する。
• 提案をより小さなサブバッチに分割して逐次処理することで、ROIプールの際のメモリ使用量を著しく削減し、大規模なモデルの学習を可能にする逐次バッチ逆誤差伝搬を採用。
• 画像レベルのラベルを教師信号として用い、自己訓練により反復的に偽ラベルを精緻化することで、検出の信頼性と局所化精度を向上。
• 動画拡張では、短時間の運動パターンを活用するための光流体特徴を適用。これにより、時空間的一致性が向上。
• 偽ラベル付きの提案に対して分類損失を用いて、エンド・トゥ・エンドで全フレームワークを学習。局所化と分類の両方を最適化。

実験結果

リサーチクエスチョン

• RQ1 インスタンスに注意を向けた偽ラベルによる自己訓練アプローチは、弱教師付き検出におけるオブジェクトインスタンス選択の曖昧さを低減できるか？
• RQ2 微分可能で学習可能な空間的ドロップアウト機構（Concrete DropBlock）は、部分の優位性を効果的に低減し、文脈に配慮した特徴学習を促進できるか？
• RQ3 逐次バッチ逆誤差伝搬により、メモリ制約下でも高解像度画像およびResNetのような深層バックボーンでの学習が可能になるか？
• RQ4 提案されたフレームワークは弱教師付き動画オブジェクト検出に一般化可能であり、運動の手がかりを活用して性能向上が達成できるか？
• RQ5 各構成要素が個別および統合的に、標準ベンチマーク上で検出精度と頑健性をどの程度向上させるか？

主な発見

• 提案手法はCOCOで12.1% APを達成し、従来の弱教師付き手法に比べ顕著な向上を示し、本ベンチマークで新たな最先端性能を樹立した。
• VOC 2007では54.9% APを達成し、ベースライン比で10.1%の相対的向上を示し、複雑なオブジェクトカテゴリにおいて強力な性能を発揮した。
• VOC 2012では52.1% APを達成し、異なるデータセットおよびオブジェクト分布にわたる強力な一般化性能を示した。
• アブレーションスタディにより、MISTがすべてのIoU閾値およびオブジェクトサイズで平均リCALLを向上させ、インスタンスの曖昧さが低減していることが確認された。
• Concrete DropBlockは、動物および人物クラスで最大の性能向上をもたらし、部分の優位性の軽減における有効性を裏付けた。
• 逐次バッチ逆誤差伝搬により、16GB GPUで1画像あたり最大4,000の提案を処理しながらも、標準的な逆誤差伝搬の2倍以内の学習速度を維持できた。