[論文レビュー] Collaborative Learning for Weakly Supervised Object Detection

Jiajie Wang, Jiangchao Yao+2 more|ArXiv.org|Feb 10, 2018

Advanced Neural Network Applications参考文献 16被引用数 11

ひとこと要約

本論文は、共有特徴量と予測一貫性損失を介して、弱教師あり検出器（WSDDNに類似）と強教師あり検出器（Faster R-CNNに類似）を共同で学習する弱教師あり協調学習（WSCL）フレームワークを提案する。このフレームワークにより、後者の検出器に強教師ありアノテーションを必要とせずに相互強化を実現し、PASCAL VOC 2007および2012で最先端の性能を達成した。

ABSTRACT

Weakly supervised object detection has recently received much attention, since it only requires image-level labels instead of the bounding-box labels consumed in strongly supervised learning. Nevertheless, the save in labeling expense is usually at the cost of model accuracy. In this paper, we propose a simple but effective weakly supervised collaborative learning framework to resolve this problem, which trains a weakly supervised learner and a strongly supervised learner jointly by enforcing partial feature sharing and prediction consistency. For object detection, taking WSDDN-like architecture as weakly supervised detector sub-network and Faster-RCNN-like architecture as strongly supervised detector sub-network, we propose an end-to-end Weakly Supervised Collaborative Detection Network. As there is no strong supervision available to train the Faster-RCNN-like sub-network, a new prediction consistency loss is defined to enforce consistency of predictions between the two sub-networks as well as within the Faster-RCNN-like sub-networks. At the same time, the two detectors are designed to partially share features to further guarantee the model consistency at perceptual level. Extensive experiments on PASCAL VOC 2007 and 2012 data sets have demonstrated the effectiveness of the proposed framework.

研究の動機と目的

• 弱教師ありと強教師あり検出器の精度格差を、相互学習を可能にすることで是正すること。
• 画像ラベルのみを用いて統合的な訓練フレームワークを構築し、検出性能を向上させること。
• 強教師あり検出器との協調により、弱教師あり検出における特徴表現とバウンディングボックス品質を向上させること。
• インスタンスレベルのアノテーションに依存しないように、一貫性制約を用いて画像ラベルのみで強教師あり検出器を訓練すること。

提案手法

• 二重スルーブルアーキテクチャにより、WSDDNに類似した弱教師あり検出器とFaster R-CNNに類似した強教師あり検出器を統合する。
• 二つのサブネットワーク間で部分的な特徴量共有を強制し、知覚的表現を一致させる。
• 二つの検出器間およびFaster R-CNNサブネットワーク内でのインスタンスレベル予測の一貫性を整える、新しい予測一貫性損失を導入する。
• 両検出器を、画像ラベルのみを監視信号として、エンドツーエンドで訓練する。
• 弱教師あり検出器は標準的な分類損失で訓練され、強教師あり検出器は一貫性損失により最適化される。
• 協調学習プロセスにより、強教師あり検出器は境界ボックスアノテーションに直接アクセスせずにも向上する。

実験結果

リサーチクエスチョン

• RQ1 弱教師あり検出器の知識を活用することで、画像ラベルのみを用いて強教師あり検出器を効果的に訓練できるか？
• RQ2 特徴量共有と予測一貫性を伴う共同学習が、弱教師ありオブジェクト検出における検出精度をどのように向上させるか？
• RQ3 協調学習は、単独の弱教師あり手法と比較して、特徴表現とバウンディングボックス局所化をどの程度向上させるか？
• RQ4 弱教師あり検出器から生成された疑似ラベルを用いて強教師あり検出器を訓練する、段階的または逐次的アプローチと比較して、統合フレームワークが優れているか？
• RQ5 検出器間の一貫性制約を課すことで、標準的な弱教師あり手法と比較して、よりきめ細かく正確なバウンディングボックスが得られるか？

主な発見

• 提案された強教師あり検出器（CL_S）は、PASCAL VOC 2012で43.3%のmAPを達成し、比較された最先端手法をすべて上回った。
• PASCAL VOC 2007では、CL_Sが49.4%のmAPと67.5%のCorLocを達成し、従来手法をmAPで7.1%以上、CorLocで4.1%以上上回った。
• 協調学習を経て、弱教師あり検出器（CL_W）の性能が著しく向上し、物体全体をより正確にカバーするきめ細かいバウンディングボックスを生成した。
• 協調学習プロセスにより、両検出器が互いに相互に強化され、約12,000イテレーション後にCL_SがCL_WをmAPで上回るようになった。
• 可視化結果から、CL_Sは顔や翼といった特徴的な部分に対しても、ベースラインの弱教師あり検出器よりも正確かつ完全なオブジェクト局所化を実現していることが示された。
• 予測一貫性損失は、真の境界ボックスが存在しない状況下でも、強教師あり検出器の訓練を効果的に誘導し、優れた一般化性能をもたらした。