[論文レビュー] Optimizing Region Selection for Weakly Supervised Object Detection

Wenhui Jiang, Thuyen Ngo+3 more|arXiv (Cornell University)|Aug 5, 2017

Advanced Neural Network Applications参考文献 22被引用数 8

ひとこと要約

本論文は、弱教師付きオブジェクト検出のためのエンドツーエンド最適化された領域選択戦略を提案し、訓練を段階的に容易な背景領域を正例集合からフィルタリングし、クラス固有のハードネガティブ例をマイニングすることで向上させる。SGDミニバッチごとに領域選択を統合することで、PASCAL VOC 2007で37.4%のSOTA mAPを達成し、先行するMILベースの手法よりも5.8%優れている。

ABSTRACT

Training object detectors with only image-level annotations is very challenging because the target objects are often surrounded by a large number of background clutters. Many existing approaches tackle this problem through object proposal mining. However, the collected positive regions are either low in precision or lack of diversity, and the strategy of collecting negative regions is not carefully designed, neither. Moreover, training is often slow because region selection and object detector training are processed separately. In this context, the primary contribution of this work is to improve weakly supervised detection with an optimized region selection strategy. The proposed method collects purified positive training regions by progressively removing easy background clutters, and selects discriminative negative regions by mining class-specific hard samples. This region selection procedure is further integrated into a CNN-based weakly supervised detection (WSD) framework, and can be performed in each stochastic gradient descent mini-batch during training. Therefore, the entire model can be trained end-to-end efficiently. Extensive evaluation results on PASCAL VOC 2007, VOC 2010 and VOC 2012 datasets are presented which demonstrate that the proposed method effectively improves WSD.

研究の動機と目的

• 弱教師付き条件下での正例領域選択における低精度と多様性の欠如という課題に対処する。
• クラス固有のハードサンプルをマイニングすることで、負例領域の品質を向上させ、検出器の識別能を向上させる。
• 領域選択をオブジェクト検出器の訓練に統合し、SGD更新の各ステップで共同でエンドツーエンド最適化を可能にする。
• 正例学習領域から容易な背景ノイズを段階的に除去することで、オブジェクト-背景の曖昧さを低減する。
• 各ミニバッチで領域選択と検出を同時に更新することで、より高速かつ効果的な訓練を実現する。

提案手法

• 訓練中に初期の正例候補集合から容易な背景領域を段階的に除外することで、正例学習集合を洗練化する。
• 画像が負例としてラベル付けされた中から、クラス固有のハードネガティブマイニング戦略を用いて識別的な負例サンプルを選択する。
• CNNベースの弱教師付き検出フレームワーク内に領域選択モジュールを統合し、各SGDミニバッチで更新する。
• 検出器の予測を活用して、正例集合から容易な背景を動的に特定・削除することで、曖昧さを低減する。
• 反復的な背景除去による精度向上を保ちながら、多様な正例領域を維持することで再現率を高い水準に保つ。
• オブジェクト検出器と領域セレクタを共同で訓練し、頻繁なパラメータ更新を可能にするエンドツーエンド最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 弱教師付きオブジェクト検出におけるオブジェクト-背景の曄動を低減するために、正例領域選択をどのように最適化できるか？
• RQ2 クラス固有のハードネガティブサンプルの使用が、検出器の識別能と局所化精度に与える影響は何か？
• RQ3 領域選択と検出器訓練を1つのエンドツーエンドフレームワークで共同最適化できるか？ これにより訓練効率と性能が向上するか？
• RQ4 容易な背景の段階的フィルタリングが、正例学習領域の精度と多様性にどの程度向上効果をもたらすか？
• RQ5 標準ベンチマークにおいて、既存のMILベースの手法と比較して、本手法はmAPおよびCorLocの観点でどの程度優れているか？

主な発見

• 提案手法は、PASCAL VOC 2007テストセットで平均平均精度（mAP）37.4%を達成し、最良の先行MILベース手法よりも5.8%向上した。
• PASCAL VOC 2010およびVOC 2012では、それぞれmAPが36.0%および33.6%を達成し、最先端のベースラインを顕著に上回った。
• VOC 2007ではCorLocが57.3%を達成し、学習セット内の真の正例領域の局所化精度が優れていることを示した。
• ベースラインと比較して、20カテゴリー中の19カテゴリーで検出性能が向上し、局所化と検出精度の両方で顕著な向上を示した。
• 完全画像CAMを用いたCNNベースのモデルと比較すると、本手法はCorLocを10.5%、mAPを11.7%向上させ、画像レベルの監視に比べて領域レベルのフィルタリングの利点を示した。
• 可視化結果では、小さな物体や被覆された物体のロバストな局所化が確認されたが、ボクセルボックスの精度や視覚的に類似したカテゴリ間の分類誤りの課題は依然として残っている。