[論文レビュー] Detecting Everything in the Open World: Towards Universal Object Detection

Zhenyu Wang, Yali Li+5 more|arXiv (Cornell University)|Mar 21, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本論文は、マルチソースで多様なデータセットとビジョン・ランゲージ事前学習を活用することで、強力なゼロショット一般化を達成する、ユニバーサルオブジェクト検出フレームワークであるUniDetectorを提案する。領域提案生成と分類を分離し、確率補正を適用することで、微調整なしに7,000種類以上のカテゴリを検出可能であり、COCOにおける新規カテゴリで前人を3.5%上回り、LVISでは2.6%上回る。これは、最小限の学習データで最先端のオープンワールド性能を達成していることを示している。

ABSTRACT

In this paper, we formally address universal object detection, which aims to detect every scene and predict every category. The dependence on human annotations, the limited visual information, and the novel categories in the open world severely restrict the universality of traditional detectors. We propose UniDetector, a universal object detector that has the ability to recognize enormous categories in the open world. The critical points for the universality of UniDetector are: 1) it leverages images of multiple sources and heterogeneous label spaces for training through the alignment of image and text spaces, which guarantees sufficient information for universal representations. 2) it generalizes to the open world easily while keeping the balance between seen and unseen classes, thanks to abundant information from both vision and language modalities. 3) it further promotes the generalization ability to novel categories through our proposed decoupling training manner and probability calibration. These contributions allow UniDetector to detect over 7k categories, the largest measurable category size so far, with only about 500 classes participating in training. Our UniDetector behaves the strong zero-shot generalization ability on large-vocabulary datasets like LVIS, ImageNetBoxes, and VisualGenome - it surpasses the traditional supervised baselines by more than 4\% on average without seeing any corresponding images. On 13 public detection datasets with various scenes, UniDetector also achieves state-of-the-art performance with only a 3\% amount of training data.

研究の動機と目的

• 従来の検出器が固定されたクローズドワールドデータセットに依存し、未観測の新規カテゴリに一般化できないという限界を解決すること。
• 多様でマルチソースのデータセットを用いて、異種のラベル空間を持つことで、カバレッジと表現学習を向上させることで、ユニバーサルオブジェクト検出を可能にすること。
• ビジョン・ランゲージ事前学習を活用し、予測バイアスを軽減することで、未観測カテゴリへのゼロショット一般化を強化すること。
• 提案生成と分類を分離する学習パラダイムを構築することで、オープンワールド状況におけるロバストネスを向上させること。
• ベースクラスにおける過信度を低減し、新規カテゴリに対する公平性を向上させるために、予測確率を補正すること。

提案手法

• UniDetectorは、異種のラベル空間を持つ複数のデータセット間で画像とテキストの埋め込みを整合化するための分割型学習構造を用いる。これにより、ラベル空間の競合を回避しつつ、統合学習が可能になる。
• 領域提案生成とRoI分類の段階を分離することで、提案ネットワークがクラスに依存しない局所化ネットワーク（CLN）に特化できる。
• CLNは、局所化の質と信頼度スコアの両方を最適化することで、クラスに依存しない高品質な提案を生成するように訓練され、未観測クラスへの一般化を向上させる。
• 予測確率の補正は、すべてのカテゴリの事前確率を推定し、予測分布を再重み付けすることで、ベースクラスにおける過信度を低減する。
• 事前学習済みビジョン・ランゲージモデル（例：CLIP）を活用して、画像およびクラス名の両方を埋め込むことで、新規カテゴリにおけるゼロショット推論を可能にする。
• 学習は、COCO、Objects365、ImageNetの組み合わせを用い、画像レベルのアノテーションを含むことで、大規模かつマルチソースの事前学習が可能になる。

Figure 1 : Illustration for the universal object detector. It aims to detect every category in every scene and should have the ability to utilize images of multiple sources with heterogeneous label spaces for training and generalize to the open world for inference.

実験結果

リサーチクエスチョン

• RQ1 異種のラベル空間を持つマルチソースデータセット上で、特徴の整合性を保ちながら、ユニバーサルオブジェクト検出器を効果的に学習できるか？
• RQ2 領域提案生成と分類を分離することで、オープンワールド検出におけるゼロショット一般化はどのように向上するか？
• RQ3 確率補正は予測バイアスをどの程度低減でき、未観測カテゴリのパフォーマンス向上にどの程度寄与するか？
• RQ4 ビジョン・ランゲージ事前学習を用いることで、微調整なしに多数の新規カテゴリを検出できるか？
• RQ5 大ボリュームのオープンワールドデータセットにおいて、既存の検出器と比較して、性能とデータ効率の点でUniDetectorはどのように差をつけるか？

主な発見

• COCOにおける新規カテゴリのボックスAPは35.2%に達し、前回のSOTA（RegionCLIPの31.7%）を3.5%上回り、微調整なしに達成された。
• LVISデータセットでは、新規カテゴリのボックスAPが29.3%、マスクAPが26.5%に達し、Deticを2.6%および1.6%上回った。
• 学習データの10%のみを用いても、新規カテゴリのAPでOWL-ViTを1.3%上回り、高いデータ効率を示した。
• CLNを用いた分離型学習は、標準的なRPNよりも3.1%、Cascade RPNよりも1.5%のAP向上を示し、優れた一般化性能を示した。
• 確率補正により、LVISにおける新規カテゴリのAPは2%以上向上し、ベースクラスと新規クラスのパフォーマンスギャップが顕著に縮小された。
• 一部の設定では1つの検出用データセットのみを学習に使用したにもかかわらず、UniDetectorは最先端の結果を達成しており、強力な普遍性とスケーラビリティを示している。

Figure 2 : Overview of UniDetector. It consists of three steps. With the image-text pre-training parameters, UniDetector is trained with images of different sources with multiple label spaces. In this way, it can directly detect in the open world for inference. ’V’ denotes the module to process visu