[論文レビュー] Cap2Det: Learning to Amplify Weak Caption Supervision for Object Detection

Keren Ye, Mingda Zhang+4 more|arXiv (Cornell University)|Jul 23, 2019

Multimodal Machine Learning Applications参考文献 43被引用数 6

ひとこと要約

Cap2Det は、自由形式の画像キャプションを監視信号として活用する、弱教師あり物体検出のための新規フレームワークを提案する。テキスト専用分類器を訓練することで、学習データセットの境界を越えて一般化し、弱い信号を強化する。PASCAL VOC および COCO ベンチマークにおいて、追加の微調整やアンサンブルなしで、最先端の WSOD 性能を達成し、従来手法より最大 11% の mAP 向上を実現した。

ABSTRACT

Learning to localize and name object instances is a fundamental problem in vision, but state-of-the-art approaches rely on expensive bounding box supervision. While weakly supervised detection (WSOD) methods relax the need for boxes to that of image-level annotations, even cheaper supervision is naturally available in the form of unstructured textual descriptions that users may freely provide when uploading image content. However, straightforward approaches to using such data for WSOD wastefully discard captions that do not exactly match object names. Instead, we show how to squeeze the most information out of these captions by training a text-only classifier that generalizes beyond dataset boundaries. Our discovery provides an opportunity for learning detection models from noisy but more abundant and freely-available caption data. We also validate our model on three classic object detection benchmarks and achieve state-of-the-art WSOD performance. Our code is available at https://github.com/yekeren/Cap2Det.

研究の動機と目的

• 物体検出におけるボクシングボックスのアノテーションコストの高さを解消するため、自由に利用可能な非構造的画像キャプションを弱教師信号として活用すること。
• 現実世界の設定ではしばしば入手困難な正確な画像レベルラベルを必要とする、従来の弱教師あり検出（WSOD）手法の限界を克服すること。
• 曖昧で網羅的でない、ノイズの多いキャプションから意味のあるオブジェクトレベルの監視信号を抽出できる手法を開発すること。
• 人間が書いたキャプションと画像内の実際のオブジェクトとのギャップを埋めるために、キャプションをオブジェクトカテゴリにマッピングする汎用的なテキスト分類器を学習すること。
• ボクシングボックスアノテーションに依存せずに、キャプションから得られる画像レベルラベルのみを用いて、最先端の WSOD 性能を達成すること。

提案手法

• 少量のオブジェクトラベルを用いてテキスト専用分類器を訓練し、自由形式のキャプションを離散的なオブジェクトカテゴリにマッピングすることで、学習データセットの境界を越えて一般化できるようにする。
• テキスト分類器が予測する偽ラベルを、複数インスタンス学習（MIL）に基づく物体検出器の弱教師信号として活用する。
• オブジェクト候補のクラススコアと検出スコアを反復的に最適化するプロセス（OICR）を用い、局所化精度を向上させる。
• オフザシェルで領域候補を抽出し、微分可能でエンドツーエンドの訓練方式を用いて、クラススコアと検出スコアを同時に最適化する。
• テキスト分類器を用いたフィルタリング機構を導入し、ターゲットオブジェクトを言及している可能性が低いキャプションを除外することで、ノイズを低減しデータ品質を向上させる（例：Flickr30K から Flickr200K を作成）。
• 2段階の訓練パイプラインを採用：まず COCO でテキスト分類器を訓練し、その後、VOC および COCO の下流検出タスクにその分類器を転移させる。

実験結果

リサーチクエスチョン

• RQ1 ボクシングボックスアノテーションを一切必要としない自由形式の自然言語キャプションを、弱教師あり物体検出器の学習に効果的に活用できるか？
• RQ2 曇りやすく不正確で網羅的でないキャプションからの信号をどのように改善すれば、物体検出に有用な情報として利用できるか？
• RQ3 少量のオブジェクトカテゴリで学習したテキスト分類器が、異なるデータセットにまたがる多様なキャプションを、関連するオブジェクトカテゴリに適切にマッピングできるほど十分に一般化できるか？
• RQ4 汎用的なテキスト分類器を用いて弱いキャプション信号を強化することで、標準的な WSOD 手法と比較して検出性能が向上するか？
• RQ5 キャプションデータ量の増加に伴って検出性能はどの程度向上するか？また、このようなシステムの潜在的な上限はどこか？

主な発見

• Cap2Det は、100万枚のキャプション付き画像で学習した場合、PASCAL VOC 2007 で 54.4% の mAP を達成した。これは、フィットした平方根関数を用いて推定された値である。
• PASCAL VOC 2007 において、Cap2Det は最も強力な単一モデルベースライン（PCL-OB-G VGG16）を 11% 以上上回り、TS2C メソッドを 9% 上回った。
• PASCAL VOC 2012 では、IoU=0.5 の条件下で 23.4% の mAP を達成し、COCO における mAP@0.5:0.95 で、前回の最先端 WSOD メソッド（PCL-OB-G Ens.+FRCNN）を 15% 上回った。
• OICR VGG_M バックボーンに比べ、リファインメントなしで 27% の mAP 向上を達成し、提案された検出バックボーンの有効性を示した。
• OICR を用いた反復的リファインメントにより、VOC 2007 で 30% の mAP 向上が達成され、同じ設定でベースライン OICR メソッドを 8% 上回った。
• 後処理やアンサンブルなしでも、Cap2Det は競争力ある性能を達成しており、キャプション監視からの強力な内在的一般化能力を示している。