[論文レビュー] Query-Adaptive R-CNN for Open-Vocabulary Object Detection and Retrieval.

Ryota Hinami, Shin’ichi Satoh|arXiv (Cornell University)|Nov 27, 2017

Multimodal Machine Learning Applications参考文献 31被引用数 3

ひとこと要約

本論文では、テキストクエリから検出器重みを生成することで、Faster R-CNN をオープンボックスオブジェクト検出に拡張する、新しいエンドツーエンドフレームワークである Query-Adaptive R-CNN を提案する。本手法は、テキストクエリに適応する分類器と回帰器重みの生成により、Flickr30k Entities で最先端の性能を達成し、100万枚の画像から 0.5 秒でオブジェクトを検出・局所化する。負のフレーズ拡張を用いた分類器の強化により、識別性能が向上する。

ABSTRACT

We address the problem of open-vocabulary object retrieval and localization, which is to retrieve and localize objects from a very large-scale image database immediately by a textual query (e.g., a word or phrase). We first propose Query-Adaptive R-CNN, a simple yet strong framework for open-vocabulary object detection. Query-Adaptive R-CNN is a simple extension of Faster R-CNN from closed-vocabulary to open-vocabulary object detection: instead of learning a class-specific classifier and regressor, we learn a detector generator that transforms a text into classifier and regressor weights. All of its components can be learned in an end-to-end manner. Even with its simple architecture, it outperforms all state-of-the-art methods in the Flickr30k Entities phrase localization task. In addition, we propose negative phrase augmentation, a generic approach for exploiting hard negatives in the training of open-vocabulary object detection that significantly improves the discriminative ability of the generated classifier. We show that our system can retrieve and localize objects specified by a textual query from one million images in only 0.5 seconds.

研究の動機と目的

• 自然言語クエリを用いて大規模な画像データベースからのオープンボックスオブジェクト検出と検索を可能にすること。
• 固定された閉じたクラスに限定されない一般化を実現するため、未学習のテキストクエリに動的に適応できる検出器を提供すること。
• トレーニング段階での有効なハードネガティブマイニングにより、オープンボックス環境下でのモデルの識別能力を向上させること。
• 大規模な画像コレクションにおいて、リアルタイムの検索と局所化を実現する高速でエンドツーエンドの推論を達成すること。

提案手法

• Query-Adaptive R-CNN は、Faster R-CNN のクラス固有の分類器と回帰器を、テキストクエリから分類器および回帰器重みを生成する検出器ジェネレータに置き換える。
• 検出器ジェネレータはエンドツーエンドで訓練され、クエリ固有の検出に向けた視覚的・言語的表現の共同最適化を可能にする。
• 負のフレーズ拡張は、トレーニング段階でハードネガティブフレーズを明示的にモデル化するデータ拡張戦略として導入され、分類器の一般化性能が向上する。
• フレームワークは、事前学習済みのビジョンおよびテキストエンコーダーを活用し、画像とクエリを共有埋め込み空間にマップして整合性を保つ。
• システムは、領域提案ネットワーク（RPN）を用いて候補オブジェクト提案を生成し、その後、クエリに由来する重みを用いてスコアリングを行う。
• 推論は非常に効率的であり、100万枚の画像から 0.5 秒未満で検索と局所化が可能である。

実験結果

リサーチクエスチョン

• RQ1 各新しいクラスに対して再トレーニングを必要とせず、シンプルでエンドツーエンドのフレームワークがオープンボックスクエリにオブジェクト検出を適応できるか？
• RQ2 検出器ジェネレータが自然言語クエリから正確な分類器および回帰器重みを生成できるか？
• RQ3 負のフレーズ拡張が、オープンボックス検出における識別性能をどの程度向上させるか？
• RQ4 大規模な画像データベースにおける、システムの推論速度とスケーラビリティはどの程度か？

主な発見

• Query-Adaptive R-CNN は、Flickr30k Entities のフレーズ局所化ベンチマークで、すべての先行手法を上回る最先端の性能を達成した。
• モデルは 100万枚の画像からわずか 0.5 秒でオブジェクトを検出・局所化し、高い推論効率を示した。
• 負のフレーズ拡張は、曖昧またはレアなフレーズに対して特に顕著に分類器の識別能力を向上させた。
• エンドツーエンドでトレーニング可能な検出器ジェネレータにより、微調整なしに未学習のクエリに対しても強力な一般化性能を発揮した。
• 多様で複雑なテキストクエリを含む挑戦的なオープンボックス環境下でも、高い精度を維持した。