[論文レビュー] Saliency Guided End-to-End Learning for Weakly Supervised Object Detection

Baisheng Lai, Xiaojin Gong|arXiv (Cornell University)|Jun 21, 2017

Advanced Neural Network Applications参考文献 21被引用数 16

ひとこと要約

本論文は、画像ラベルのみを用いて局所化精度を向上させる、類別特異的サリエンシーマップを活用する、サリエンシー誘導型エンドツーエンド弱教師付きオブジェクト検出手法を提案する。高信頼度のプロポーザルに対する明示的监督と、埋め込み型サリエンシーマップ予測サブネットワークを組み合わせることで、PASCAL VOC 2007および2012で最先端の性能を達成し、VOC 2012テストセットでは40.6%の平均検出APと64.2%のCorLocを達成した。

ABSTRACT

Weakly supervised object detection (WSOD), which is the problem of learning detectors using only image-level labels, has been attracting more and more interest. However, this problem is quite challenging due to the lack of location supervision. To address this issue, this paper integrates saliency into a deep architecture, in which the location in- formation is explored both explicitly and implicitly. Specifically, we select highly confident object pro- posals under the guidance of class-specific saliency maps. The location information, together with semantic and saliency information, of the selected proposals are then used to explicitly supervise the network by imposing two additional losses. Meanwhile, a saliency prediction sub-network is built in the architecture. The prediction results are used to implicitly guide the localization procedure. The entire network is trained end-to-end. Experiments on PASCAL VOC demonstrate that our approach outperforms all state-of-the-arts.

研究の動機と目的

• 画像レベルのラベルしか入手できない弱教師付きオブジェクト検出（WSOD）の課題に対処すること。
• 事前学習済みCNNから得られるサリエンシー情報をエンドツーエンドのディープラーニングフレームワークに統合することで、検出性能を向上させること。
• サリエンシーマップで誘導された高信頼度のオブジェクトプロポーザルに対して明示的监督を施し、専用のサリエンシーマップ予測サブネットワークによる暗黙的ガイドラインを併用することで、局所化精度を向上させること。
• セマンティック、位置、サリエンシーのマルチモodalな監督を組み込むことで、ベースライン手法と比較してより良い一般化性能を達成し、過学習を回避すること。

提案手法

• 本手法は、類別特異的サリエンシーマップからの高信頼度予測に基づいて、クラス特異的オブジェクトプロポーザル（「シード」と呼ぶ）を選択する。これらのシードは強力な局所化の手がかりを提供する。
• 2つの明示的正則化損失を導入する。1つは、選択されたシードの位置、セマンティック、サリエンシー特徴を用いてメインネットワークを監視するものであり、もう1つは専用のサリエンシーマップ予測サブネットワークから得られるものである。
• サリエンシーマップ予測サブネットワークはメイン検出器とエンドツーエンドで学習され、その出力が各プロポーザルの信頼度を調整し、オブジェクトを含む可能性の高い領域を強調する。
• 全アーキテクチャはエンドツーエンドで訓練され、検出、分類、サリエンシーマップ予測の最適化を統合的に実現する。
• 本手法はVGG-16をバックボーンネットワークとして用い、検出、分類、サリエンシーマップ予測のための損失関数を用いたマルチタスク学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNから得られる類別特異的サリエンシーマップは、弱教師付きオブジェクト検出におけるオブジェクト局所化を効果的に誘導できるか？
• RQ2 明示的および暗黙的両方の監督を用いてサリエンシー情報を統合することで、標準の弱教師付きベースラインと比較して検出性能が向上するか？
• RQ3 サリエンシー誘導型プロポーザル選択を組み込んだエンドツーエンド学習戦略は、WSODにおける過学習を軽減し、一般化性能を向上させられるか？
• RQ4 本手法は、平均平均精度および局所化精度の観点で、最先端の弱教師付き検出器と比較してどのように差をつけるか？

主な発見

• 提案手法SGWSODは、PASCAL VOC 2012テストセットで40.6%の平均検出APを達成し、以前のSOTA手法WCCNを約3ポイント上回った。
• PASCAL VOC 2012テストセットでは、64.2%のCorLocスコアを達成し、ベースラインのWSDDNおよび他の最近の手法を大きく上回った。
• モデルのアンサンブル版は、VOC 2012で分類APが91.8%に達し、優れた一般化性能と頑健性を示した。
• 「バイク」「車」「猫」「犬」「人間」などの難易度の高いクラスにおいても一貫した改善が見られ、小さなまたは複雑なオブジェクトの局所化性能が向上していることが示された。
• アブレーションスタディの結果、サリエンシー誘導型シードに対する明示的監督とサブネットワークからの暗黙的ガイドラインの組み合わせが、単体の各コンponentよりも優れた性能を発揮することが確認された。