[論文レビュー] Weakly Supervised Cascaded Convolutional Networks

Ali Diba, Vivek Sharma+3 more|arXiv (Cornell University)|Nov 24, 2016

Advanced Neural Network Applications参考文献 30被引用数 8

ひとこと要約

本稿では、画像ラベルのみを用いて弱教師付きオブジェクト検出、分類、局所化を実行する、2段階または3段階のエンドツーエンドディーブラーニングフレームワークである弱教師付きカスケード畳み込みネットワーク（WCCN）を提案する。クラス固有のプロポーザル生成、セグメンテーション、複数インスタンス学習（MIL）を段階的に組み合わせることで、検出および分類精度が向上し、PASCAL VOCおよびILSVRCデータセットでSOTA性能を達成し、2段階ベースライン比で最大2.5%のmAP向上を達成した。

ABSTRACT

Object detection is a challenging task in visual understanding domain, and even more so if the supervision is to be weak. Recently, few efforts to handle the task without expensive human annotations is established by promising deep neural network. A new architecture of cascaded networks is proposed to learn a convolutional neural network (CNN) under such conditions. We introduce two such architectures, with either two cascade stages or three which are trained in an end-to-end pipeline. The first stage of both architectures extracts best candidate of class specific region proposals by training a fully convolutional network. In the case of the three stage architecture, the middle stage provides object segmentation, using the output of the activation maps of first stage. The final stage of both architectures is a part of a convolutional neural network that performs multiple instance learning on proposals extracted in the previous stage(s). Our experiments on the PASCAL VOC 2007, 2010, 2012 and large scale object datasets, ILSVRC 2013, 2014 datasets show improvements in the areas of weakly-supervised object detection, classification and localization.

研究の動機と目的

• 画像ラベルのみが利用可能であり、バウンディングボックスのアノテーションが存在しない弱教師付きオブジェクト検出の課題に対処すること。
• セグメンテーションとMILを統合したカスケードアーキテクチャにより、オブジェクトプロポーザルの最適化を実施し、検出性能を向上させること。
• 弱教師付き環境下で、プロポーザル品質、局所化、分類を同時に最適化できるエンドツーエンドのディープネットワークの訓練を可能にすること。
• 弱教師付き視覚認識タスクにおけるマルチタスク学習の有効性を実証すること。

提案手法

• 2段階アーキテクチャでは、最初にグローバル平均プーリングを用いた完全畳み込みネットワークを用いてクラス固有のオブジェクトプロポーザルを生成する。
• 2段階目では、ROIプーリングを用いてプロポーザルからの特徴量を抽出し、画像ラベルを用いた複数インスタンス学習（MIL）を実行する。
• 3段階バージョンでは、1段階目の活性化マップを用いてクラス固有のインスタンスセグメンテーションを実行する中間段階を追加し、プロポーザル品質を向上させる。
• 全ネットワークは共有バックプロパゲーションを用いてエンドツーエンドで訓練され、プロポーザル生成と分類の共同最適化が可能になる。
• プロポーザル段階とMIL段階の初期畳み込み層間で重み共有を活用することで、特徴量学習を向上させる。
• オブジェクトプロポーザルの最適化とMIL分類の改善を交互に繰り返すカスケードトレーニングパイプラインにより、初期化への感受性が低下する。

実験結果

リサーチクエスチョン

• RQ1 初期オブジェクトプロポーザルを最適化することで、カスケードディーブラーニングアーキテクチャが弱教師付きオブジェクト検出を向上させられるか？
• RQ2 中間段階に弱教師付きインスタンスセグメンテーションを統合することで、検出および分類性能が向上するか？
• RQ3 エンドツーエンドのカスケード段階訓練は、段階的事前学習と比較してmAPおよびロバストネスの観点で優れているか？
• RQ4 プロポーザル段階と分類段階間の重み共有が、特徴量学習および局所化にどの程度寄与するか？

主な発見

• 3段階のWCCNアーキテクチャは、2段階バージョンと比較してPASCAL VOC 2007で2.5%のmAP絶対値向上を達成した。
• 同じデータセットにおいて、3段階モデルは2段階ベースラインと比較して分類のtop-1誤差を2%改善した。
• PASCAL VOC 2007でEdgeBoxを用いた2段階WCCNは、SelectiveSearchと比較して1.5%のmAP向上を達成した。
• ILSVRC 2014では、VGG16を用いた3段階WCCNがtop-1誤差30.4%を達成し、ベースラインのVGG16（31.2%）およびVGG16-GAP（33.4%）を上回った。
• WCCNが生成した疑似GTボックスでファインチューニングしたFast R-CNNは、完全なWCCNパイプラインと比較して0.3%高いmAPを達成した。これは、高品質なプロポーザル生成を示している。
• アブレーションスタディにより、セグメンテーション段階が初期オブジェクト局所化を顕著に改善し、ノイズを低減して下流の検出性能を向上させることを確認した。