[論文レビュー] Open-Vocabulary Object Detection Using Captions

Alireza Zareian, Kevin Dela Rosa+2 more|arXiv (Cornell University)|Nov 20, 2020

Multimodal Machine Learning Applications参考文献 41被引用数 17

ひとこと要約

本論文は、画像キャプションペアを活用して視覚的・意味的空間を事前学習し、基本クラスのバウンディングボックスアノテーションで微調整する、新しい二段階手法であるオープンボリュームオブジェクト検出（OVD）を提案する。この手法は、ゼロショット検出で27.5%のmAPを達成し、一般化ゼロショット設定では39.9%のmAPを記録し、先行する最先端手法を顕著に上回る性能を示した。

ABSTRACT

Despite the remarkable accuracy of deep neural networks in object detection, they are costly to train and scale due to supervision requirements. Particularly, learning more object categories typically requires proportionally more bounding box annotations. Weakly supervised and zero-shot learning techniques have been explored to scale object detectors to more categories with less supervision, but they have not been as successful and widely adopted as supervised models. In this paper, we put forth a novel formulation of the object detection problem, namely open-vocabulary object detection, which is more general, more practical, and more effective than weakly supervised and zero-shot approaches. We propose a new method to train object detectors using bounding box annotations for a limited set of object categories, as well as image-caption pairs that cover a larger variety of objects at a significantly lower cost. We show that the proposed method can detect and localize objects for which no bounding box annotation is provided during training, at a significantly higher accuracy than zero-shot approaches. Meanwhile, objects with bounding box annotation can be detected almost as accurately as supervised methods, which is significantly better than weakly supervised baselines. Accordingly, we establish a new state of the art for scalable object detection.

研究の動機と目的

• 各新しいカテゴリに対して多数のバウンディングボックスアノテーションを必要とする監視付きオブジェクト検出の高コストとスケーラビリティの限界を是正すること。
• トレーニング時に使用された基本クラス以外のオブジェクトを、追加のアノテーションデータを必要とせずに検出可能にすること。
• 弱い教師付きの画像キャプションデータを用いてオープンボリュームの意味的学習を実現し、監視付きのバウンディングボックスデータを用いて正確な局所化を達成することで、認識と局所化を統合すること。
• 両方のデータソースを効果的に統合することで、ゼロショットおよび弱い教師付き検出を越えた新しいパラダイムを確立すること。

提案手法

• 大規模な画像キャプションデータセット上でFaster R-CNNバックボーンを事前学習し、豊富でオープンボリュームの視覚的・意味的埋め込み空間を学習する。
• 基本クラスのバウンディングボックスアノテーションを含む小さなデータセット上でモデルを微調整するが、事前学習された視覚的・意味的知識を保持する。
• 画像特徴をクラス埋め込みにマップするための視覚から言語（V2L）へのプロジェクション層を導入し、未学習カテゴリへのゼロショット一般化を可能にする。
• 微調整中にV2L層を固定することで、ターゲットクラスへの一般化能力を維持し、基本クラスへの過学習を防ぐ。
• 事前学習段階で、グランドイングと補助的目標を共同最適化するためのマルチモodalトランスフォーマーモジュールを導入し、意味的整合性を強化する。
• 事前学習段階で得られたResNetおよびV2Lの重みを、下流の検出タスクに転移させ、効果的な知識転送を保証する。

実験結果

リサーチクエスチョン

• RQ1 バウンディングボックスアノテーションが一切ないカテゴリのオブジェクトを、トレーニング時に見なかった状態で検出・局所化できるか。
• RQ2 画像キャプションデータで事前学習することで、標準的なゼロショット学習手法と比較して、ゼロショット検出性能がどの程度向上するか。
• RQ3 限られたバウンディングボックスアノテーションと組み合わせた場合、キャプションからの弱い教師信号が検出性能にどの程度寄与するか。
• RQ4 事前学習と微調整パイプラインにおいて、強力なゼロショット一般化を達成するために最も重要な要因は何か。

主な発見

• OVR-CNNはゼロショット検出で27.5%のmAPを達成し、前回の最先端手法（10% mAP）から17ポイントも向上した。
• 一般化ゼロショット設定では、OVR-CNNは39.9%のmAPを記録し、弱い教師付きベースライン（26% mAP）を顕著に上回った。
• アブレーションスタディの結果、画像キャプションデータでの事前学習が不可欠であることが判明し、これを削除するとすべてのクラスでmAPが18.1%に低下した。
• V2L層は一般化にとって不可欠である。微調整中にV2L層をアンフリークにすると、ゼロショット性能は27.5%から23.4% mAPに低下した。
• 低品質なConceptual Captionsでさえも、OVR-CNNは34.3%のmAPを達成し、すべてのZSDベースラインを上回り、ノイズの多いデータに対しても頑健であることが示された。
• ResNetの重みのみを転送しても不十分である。効果的な知識転送とオープンボリューム一般化を実現するには、V2L層の転送が不可欠である。