[論文レビュー] Weakly Supervised Object Localization Using Size Estimates

Miaojing Shi, Vittorio Ferrari|arXiv (Cornell University)|Aug 15, 2016

Advanced Neural Network Applications参考文献 41被引用数 13

ひとこと要約

本論文では、物体サイズの推定値を用いてカリキュラム学習とプロポーザル重み付けを誘導することで、局所化精度を向上させる弱教師付きオブジェクト検出（WSOL）手法を提案する。物体が大きい順に画像を訓練し、プロポーザルを推定サイズとの類似度に基づいて重み付けすることで、標準的なWSOLに比べて7%のCorLoc向上を達成し、サイズ重み付けを追加することでさらに10%の向上を達成し、PASCAL VOC 2007で最先端の手法を上回る性能を発揮した。

ABSTRACT

We present a technique for weakly supervised object localization (WSOL), building on the observation that WSOL algorithms usually work better on images with bigger objects. Instead of training the object detector on the entire training set at the same time, we propose a curriculum learning strategy to feed training images into the WSOL learning loop in an order from images containing bigger objects down to smaller ones. To automatically determine the order, we train a regressor to estimate the size of the object given the whole image as input. Furthermore, we use these size estimates to further improve the re-localization step of WSOL by assigning weights to object proposals according to how close their size matches the estimated object size. We demonstrate the effectiveness of using size order and size weighting on the challenging PASCAL VOC 2007 dataset, where we achieve a significant improvement over existing state-of-the-art WSOL techniques.

研究の動機と目的

• 小さな物体における弱教師付きオブジェクト検出（WSOL）の性能が、初期の学習イテレーションにおけるノイズの多い局所化によって著しく低下する問題に対処すること。
• バウンディングボックスのアノテーションを回避することでアノテーションコストを削減し、サイズに基づく学習戦略により局所化精度を向上させること。
• まず大きな物体を含む画像を優先し、徐々に小さな物体を導入することで、モデル学習の安定化を図るカリキュラム学習アプローチの開発。
• 物体プロポーザルを、推定された物体サイズとの一致度に基づいて重み付けすることで、再局所化段階の性能を向上させること。
• 異なるオブジェクトクラスにおいて、サイズ推定器の一般化性能を評価すること、クラス固有およびクラス間の設定を含む。

提案手法

• バウンディングボックスアノテーションを必要とせず、1枚の画像に対して1つのスカラ値として物体サイズを推定する回帰器を訓練する。
• 学習画像を推定サイズの降順に並べ替えることで、大きな物体から順に学習を開始し、徐々に小さな物体へと進むカリキュラム学習戦略を実装する。
• 再局所化段階では、プロポーザルのサイズが推定された物体サイズに近いかどうかに基づいて重み付けを行い、類似度が高いほど高い重みが与えられる。
• サイズ重み付けされたプロポーザルスコアを用いて局所化を精緻化し、不確実性を低減し、関連するプロポーザルの選択を向上させる。
• 複数インスタンス学習（MIL）フレームワークに統合し、サイズ順序付けおよび重み付けされたプロポーザルを用いて、追加の深層ネットワーク再訓練イテレーションを実施する。
• クラス固有、クラス汎用、およびクラス間の設定でサイズ推定器の性能を評価し、未学習クラスへの一般化能力を検証する。

実験結果

リサーチクエスチョン

• RQ1 物体サイズの大きい順に学習画像を並べ替えることで、弱教師付きオブジェクト検出の性能が向上するか？
• RQ2 推定された物体サイズとの類似度に基づいて物体プロポーザルを重み付けすることで、WSOLにおける局所化精度が向上するか？
• RQ3 あるクラスセットで学習したサイズ推定器が、WSOLで使用される新しい未学習クラスにどの程度一般化できるか？
• RQ4 サイズ順序付けとサイズ重み付けの併用効果が、異なるネットワークアーキテクチャにおいてWSOL性能に与える影響は何か？
• RQ5 サイズに基づくカリキュラム学習戦略は、初期学習イテレーションにおけるノイズの多い局所化からの誤差伝搬を低減できるか？

主な発見

• サイズ順序付けのみを用いることで、PASCAL VOC 2007における標準的な順序なしWSOLに比べてCorLocが7%向上した。
• 再局所化段階にサイズ重み付けを追加することで、サイズ順序ベースラインに比べてさらに10%のCorLoc向上を達成した。
• 最良の性能は深層ネットワークの再訓練によって達成され、PASCAL VOC 2007のテストセットでCorLocが60.9、mAPが36.0に到達した。
• クラス汎用のサイズ推定器は、CorLocが54.4、mAPが32.2を達成し、ベースラインの24.7 mAPを著しく上回った。
• クラス間のサイズ推定器は良好な一般化性能を示し、CorLocが51.1、mAPが30.0を達成し、新しいクラスに対しても頑健であることが示された。
• サイズ推定器がWSOLで使用されるクラスとは異なるクラスで学習された場合でも、強力な性能を維持しており、一般化能力が確認された。