[論文レビュー] PCL: Proposal Cluster Learning for Weakly Supervised Object Detection

Peng Tang, Xinggang Wang+5 more|arXiv (Cornell University)|Jul 9, 2018

Advanced Neural Network Applications被引用数 17

ひとこと要約

本稿では、空間的に隣接するオブジェクト候補をクラスタリングし、反復的・オンラインな訓練を通じてインスタンス分類器を精緻化することで、検出精度を向上させる、PCL（Proposal Cluster Learning）と呼ばれる新規な弱教師付きオブジェクト検出フレームワークを提案する。各クラスタをミニバッグとして扱うことで、曖昧さを低減し、モデルがオブジェクトの一部に注目するのを防ぎ、PASCAL VOC、ImageNet、MS-COCOベンチマークで最先端の性能を達成する。

ABSTRACT

Weakly Supervised Object Detection (WSOD), using only image-level annotations to train object detectors, is of growing importance in object recognition. In this paper, we propose a novel deep network for WSOD. Unlike previous networks that transfer the object detection problem to an image classification problem using Multiple Instance Learning (MIL), our strategy generates proposal clusters to learn refined instance classifiers by an iterative process. The proposals in the same cluster are spatially adjacent and associated with the same object. This prevents the network from concentrating too much on parts of objects instead of whole objects. We first show that instances can be assigned object or background labels directly based on proposal clusters for instance classifier refinement, and then show that treating each cluster as a small new bag yields fewer ambiguities than the directly assigning label method. The iterative instance classifier refinement is implemented online using multiple streams in convolutional neural networks, where the first is an MIL network and the others are for instance classifier refinement supervised by the preceding one. Experiments are conducted on the PASCAL VOC, ImageNet detection, and MS-COCO benchmarks for WSOD. Results show that our method outperforms the previous state of the art significantly.

研究の動機と目的

• 複数インスタンス学習（MIL）フレームワークにおける部分レベルの活性化により、既存の弱教師付きオブジェクト検出手法がオブジェクト全体ではなく部分に注目するという限界を是正すること。
• 空間的に整合性のあるクラスタに候補をグループ化することで、ラベル割り当ての曖昧さを低減し、各クラスタを1つのオブジェクトに関連付けること。
• クラスタレベルの監視信号を活用したオンラインでマルチストリームな訓練プロセスにより、インスタンス分類器を精緻化することで検出性能を向上させること。
• ストリーム間で畳み込み特徴を共有することで、追加の計算コストを最小限に抑えつつ、複雑性が増しても計算効率を維持すること。

提案手法

• 各クラスタは、同じオブジェクトをカバーする候補を含み、代表的な候補を中心とする空間的クラスタとして構成される。
• クラスタ生成のための2つの戦略を提案：1つは候補スコアとIoU閾値を用いたもの、もう1つは候補特徴に対してk-meansに類似したクラスタリングを用いるもの。
• 各クラスタをミニバッグとして扱い、クラスタレベルのラベルを用いてインスタンス分類器を精緻化することで、直接的なインスタンスラベリングに比べて曖昧さを低減する。
• オンラインでマルチストリームな訓練フレームワークを採用：1本のストリームは標準的なMIL訓練を実行し、他のストリームは直前のストリームの予測結果を用いてインスタンス分類器を精緻化する。
• 特徴の共有により、追加の計算コストを最小限に抑えたエンドツーエンドでの精緻化プロセスを実装する。
• MIL制約とクラスタベースの監視を統合した、エンドツーエンド訓練の変種を用いて訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 空間的に整合性のあるクラスタに候補をグループ化することで、部分レベルの注目を低減させ、弱教師付きオブジェクト検出を改善できるか？
• RQ2 各クラスタをミニバッグとして監視対象とすることで、直接的なインスタンスラベリングに比べて分類器の精緻化が向上するか？
• RQ3 クラスタレベルの信号を用いた反復的・オンラインなインスタンス分類器の精緻化が、検出mAPを顕著に向上させられるか？
• RQ4 本手法は、既存のMILベースの弱教師付き検出器と比較して、精度と効率の両面で優れているか？

主な発見

• 提案されたPCL手法は、弱教師付き設定下でPASCAL VOC 2007、ImageNet、MS-COCOベンチマークで最先端の性能を達成した。
• PASCAL VOC 2007では、mAPが63.7%に達し、前回のSOTA手法を3.2%も上回った。
• MS-COCOでは28.4%のmAPを達成し、最近の研究[57]を上回った。この研究では、本手法のカンferンスバージョンをコンponentとして使用していた。
• 推論速度はベースラインのMILネットワークとほぼ同一であり、クラスタ計算に起因するわずかな訓練時間の増加のみを示した。
• 定性的な結果では、PCLはWSDDNやWSDDN+contextに比べ、剛体なオブジェクトに対してより正確で完全なバウンディングボックスを生成した。
• 失敗事例は主に、隣接する類似オブジェクトを含む過大なボックスや、非剛体で変形しやすいオブジェクト（例：'person' や 'cat'）の一部しか検出しないことによるものであった。