[論文レビュー] Learning to discover and localize visual objects with open vocabulary

Keren Ye, Mingda Zhang+4 more|arXiv (Cornell University)|Nov 25, 2018

Multimodal Machine Learning Applications参考文献 37被引用数 4

ひとこと要約

本論文は、事前に定義されたオブジェクトカテゴリーやボックスアノテーションを必要とせずに、画像キャプションペアから視覚的オブジェクトを発見および局所化する弱教師ありオブジェクト検出フレームワークを提案する。空間活性化マップを用いた画像-単語の注目メカニズムと、エッジ勾配に基づく新しいオブジェクトネス基準を導入することで、ノイズの多いキャプションのみを用いてもCOCOで6.91%のmAP@0.50 IoUを達成し、ウェブ規模のデータから効果的なオープンボキャブラリ検出を実現した。

ABSTRACT

To alleviate the cost of obtaining accurate bounding boxes for training today's state-of-the-art object detection models, recent weakly supervised detection work has proposed techniques to learn from image-level labels. However, requiring discrete image-level labels is both restrictive and suboptimal. Real-world "supervision" usually consists of more unstructured text, such as captions. In this work we learn association maps between images and captions. We then use a novel objectness criterion to rank the resulting candidate boxes, such that high-ranking boxes have strong gradients along all edges. Thus, we can detect objects beyond a fixed object category vocabulary, if those objects are frequent and distinctive enough. We show that our objectness criterion improves the proposed bounding boxes in relation to prior weakly supervised detection methods. Further, we show encouraging results on object detection from image-level captions only.

研究の動機と目的

• 固定ボキャブラリのオブジェクト検出器の限界を克服し、事前に定義されたカテゴリーよりも広い範囲のオブジェクト検出を可能にすること。
• 高価なボックスアノテーションへの依存を減らし、ウェブから入手可能な豊富な弱教師ありの画像キャプションペアを活用すること。
• 画像レベルのラベルや正解ボックスを必要とせず、構造のないノイズの多いキャプションから意味的な視覚的オブジェクト関連性を学習すること。
• エッジに沿った勾配の一貫性に基づいて、高品質な候補ボックスを特定するロバストなオブジェクトネスメトリックを開発すること。
• 画像キャプションペアのみを用いて一般化可能なオブジェクト検出器を訓練し、新規で頻出かつ特徴的なオブジェクト（例：「木の根元」や「テーブル」）の発見を可能にすること。

提案手法

• 共有埋め込み空間内での画像領域とキャプション内の単語間の類似度をペアワイズに計算することで、空間的活性化マップを学習する。
• マッチングされた画像-キャプションペア間の類似度を最大化し、ネガティブペアとの類似度を最小化するように、三重損失を用いてモデルを訓練する。
• すべてのボックスエッジに強く勾配が存在する領域を優遇する、新規のオブジェクトネス基準を導入し、コンパクトで良好に局所化された領域をランキングする。
• スコアの高い活性化領域から疑似正例ボックスを生成し、マルチインスタンス学習（MIL）損失を用いて、Faster-RCNNスタイルの検出器を訓練する。
• 式（7）と単語頻度に基づくランク付けを用いて、キャプションから高品質でオープンボキャブラリの検出可能なオブジェクト概念をマイニングする。
• エッジベースの提案とクラス活性化マップの統合を検討し、局所化精度の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 ボックスアノテーションを一切用いずに、画像キャプションペアのみからオブジェクト検出を効果的に訓練できるか？
• RQ2 自然言語キャプションによる弱教師ありの設定下でも、事前に定義された語彙を超えたオブジェクト検出が可能か？
• RQ3 エッジ勾配に基づくオブジェクトネス基準は、既存の弱教師あり手法に比べて、高品質なボックス候補をより効果的に生成できるか？
• RQ4 ノイズの多いキャプションから学習した検出器が、COCOレベルのオブジェクトをどれほど高いmAPで一般化して検出できるか？
• RQ5 標準データセットに存在しない新規で頻出かつ特徴的なオブジェクト（例：「木の根元」や「テーブル」）をモデルが効果的に特定・局所化できるか？

主な発見

• 提案されたオブジェクトネス基準は、2つの既存の弱教師あり検出手法に比べ、高品質なボックス候補を著しく優れた性能で生成した。
• ノイズの多い画像キャプションのみを用いても、COCOデータセットで6.91%のmAP@0.50 IoUを達成し、挑戦的なオープンボキャブラリ設定下での有効な検出を実証した。
• 式（7）と単語頻度によるランク付けで得られた学習済み語彙は、80種類のCOCOカテゴリに対して高いリ call（図7に示す）を達成し、関連するオブジェクト概念の効果的な発見を示した。
• 標準COCOカテゴリに含まれない新規オブジェクト（例：「木の根元」や「テーブル」）を効果的に検出でき、オープンボキャブラリ能力を確認した。
• マルチインスタンス学習（MIL）損失の導入により、トレーニング中におけるノイズラベルへのロバスト性が向上し、一般化性能が向上した。
• COCOで学習したモデルはPASCAL VOCへも適応可能であり、弱教師ありの設定下でもデータセット間の転移性を示した。