[論文レビュー] Deep Self-Taught Learning for Weakly Supervised Object Localization

Zequn Jie, Yunchao Wei+3 more|arXiv (Cornell University)|Apr 18, 2017

Indoor and Outdoor Localization Technologies参考文献 22被引用数 28

ひとこと要約

本論文は、相対的スコア向上指標を用いてオンラインで高信頼度の陽性候補を収集することで、反復的に検出器の品質を向上させる、弱教師付きオブジェクト検出のためのディープ自己学習フレームワークを提案する。画像からオブジェクトへの転送と密な部分グラフ探索を組み合わせることで、最先端の手法を上回り、PASCAL VOC 2007で56.1%のCorLoc、PASCAL 2007+2012の統合学習セットで43.7%のmAPを達成した。

ABSTRACT

Most existing weakly supervised localization (WSL) approaches learn detectors by finding positive bounding boxes based on features learned with image-level supervision. However, those features do not contain spatial location related information and usually provide poor-quality positive samples for training a detector. To overcome this issue, we propose a deep self-taught learning approach, which makes the detector learn the object-level features reliable for acquiring tight positive samples and afterwards re-train itself based on them. Consequently, the detector progressively improves its detection ability and localizes more informative positive samples. To implement such self-taught learning, we propose a seed sample acquisition method via image-to-object transferring and dense subgraph discovery to find reliable positive samples for initializing the detector. An online supportive sample harvesting scheme is further proposed to dynamically select the most confident tight positive samples and train the detector in a mutual boosting way. To prevent the detector from being trapped in poor optima due to overfitting, we propose a new relative improvement of predicted CNN scores for guiding the self-taught learning process. Extensive experiments on PASCAL 2007 and 2012 show that our approach outperforms the state-of-the-arts, strongly validating its effectiveness.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）特徴量に空間的情報が欠如しているため、既存の弱教師付き局所化手法が低品質な陽性サンプルに依存するという限界を解消すること。
• 検出器自身が特定した高品質で tightly 局所化された陽性サンプルを再訓練することで、段階的に検出器の性能が向上する自己学習パラダイムの開発。
• 信頼度の高いサンプル選択のための相対的改善指標を導入することで、低品質な初期サンプルへの過学習を防ぐこと。
• 空間相関を活用した画像からオブジェクトへの転送と密な部分グラフ探索により、初期の陽性候補の品質を向上させること。

提案手法

• ターゲットクラスの高信頼度を持つオブジェクト候補を特定するため、マルチラベル分類ネットワークの出力を用いた画像からオブジェクトへの転送技術を提案する。
• 空間相関に基づいて、初期の候補集合から空間的に分散された高品質な初期陽性候補を選択するため、密な部分グラフ探索を適用する。
• 検出器自身の予測スコアを用いて、動的にタイトで信頼度の高い陽性候補を選択するオンライン支援サンプル収集（OSSH）方式を導入する。
• トレーニング中の過学習や局所最適解への陥落を回避するため、CNNスコアの新しい相対的改善指標を採用する。
• 検出器のトレーニングとオンラインサンプル収集を相互に強化するループで繰り返し実行し、局所化の品質を段階的に改善する。
• Fast R-CNNを検出器のバックボーンとし、提案された自己学習パイプラインにエンドツーエンドでトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 検出器が自ら高品質な陽性候補を特定することで、反復的に局所化性能を向上させることができるか？
• RQ2 予測されたCNNスコアの相対的改善指標が、低品質な初期サンプルへの過学習を効果的に防げるか？
• RQ3 画像からオブジェクトへの転送と密な部分グラフ探索を組み合わせることで、従来手法よりも優れた初期の陽性候補が得られるか？
• RQ4 オンライン支援サンプル収集が、弱教師付きオブジェクト検出におけるオフラインMILベースの候補抽出を上回るか？

主な発見

• 提案手法は、PASCAL VOC 2007のtrainvalセットで56.1%のCorLocを達成し、すべての先行MILベースおよびエンドツーエンドWSL手法を上回った。
• PASCAL VOC 2007のテストセットでは41.7%のmAPを達成し、すべての最先端手法を上回った。PASCAL 2007と2012の両方のデータセットで学習した場合、さらに向上して43.7%のmAPを達成した。
• PASCAL VOC 2012では、統合学習データを用いた際、mAPが前回のSOTAからほぼ10ポイント向上（39.4% mAP）し、trainvalセットではCorLocが4%高い水準を達成した。
• アブレーションスタディの結果、OSSHにおける相対的スコア向上指標を用いることで、絶対スコアよりも顕著に性能が向上し、3エポックにわたるOSSH適用でCorLocが53.2%から56.1%に上昇した。
• 定性的な結果から、本手法は反復的な精錬により、よりタイトで正確なバウンディングボックスに段階的に局所化していることが示された。初期の初期サンプルに起因する誤検出も、繰り返しの改善によって是正された。
• HCP、DSD、およびOSSHに相対的改善を組み合わせた場合が、最高の局所化精度を達成しており、パイプライン内の各コンponentの有効性が裏付けられた。