[論文レビュー] General Object Foundation Model for Images and Videos at Scale

Junfeng Wu, Yi Jiang+4 more|arXiv (Cornell University)|Dec 14, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

この論文では、画像および動画における検出、セグメンテーション、トラッキング、グラウディング、識別を統合的に扱う一般化されたオブジェクト基盤モデルである GLEE を紹介する。GLUE は、画像エンコーダ、テキストエンコーダ、視覚的プロンプト生成器を備えた共有マルチモodalフレームワークを採用している。500万枚を超える多様で弱教師ありの画像データで学習された GLEE は、タスク固有の適応なしに15以上のオブジェクト中心のタスクで最先端のゼロショット一般化性能を達成した。

ABSTRACT

We present GLEE in this work, an object-level foundation model for locating and identifying objects in images and videos. Through a unified framework, GLEE accomplishes detection, segmentation, tracking, grounding, and identification of arbitrary objects in the open world scenario for various object perception tasks. Adopting a cohesive learning strategy, GLEE acquires knowledge from diverse data sources with varying supervision levels to formulate general object representations, excelling in zero-shot transfer to new data and tasks. Specifically, we employ an image encoder, text encoder, and visual prompter to handle multi-modal inputs, enabling to simultaneously solve various object-centric downstream tasks while maintaining state-of-the-art performance. Demonstrated through extensive training on over five million images from diverse benchmarks, GLEE exhibits remarkable versatility and improved generalization performance, efficiently tackling downstream tasks without the need for task-specific adaptation. By integrating large volumes of automatically labeled data, we further enhance its zero-shot generalization capabilities. Additionally, GLEE is capable of being integrated into Large Language Models, serving as a foundational model to provide universal object-level information for multi-modal tasks. We hope that the versatility and universality of our method will mark a significant step in the development of efficient visual foundation models for AGI systems. The model and code will be released at https://glee-vision.github.io .

研究の動機と目的

• 画像および動画における多様なオブジェクト中心のビジョンタスクに一般化可能な統合的かつスケーラブルな基盤モデルの開発。
• 従来の視覚的基盤モデルがタスク固有であるか、またはグローバルな画像特徴に限定されているという限界の克服。
• 多様な粒度と複数のソースのデータを、さまざまな教師信号レベルで活用することで、強力なゼロショット転送性能を実現。
• 視覚的プロンプト（点、ボックス、スクラッチ）を介して、リアルタイムのユーザーインタラクションを可能にするインタラクティブセグメンテーションおよびトラッキングの支援。
• 大規模言語モデルと統合し、マルチモーダルAGIシステムのユニバーサルな視覚認識バックボーンとしての役割を果たすこと。

提案手法

• 画像エンコーダ、テキストエンコーダ、視覚的プロンプト生成器を備えた統合フレームワークを採用し、マルチモーダル入力（画像＋テキスト＋視覚的プロンプト）を処理する。
• ボクシングボックス、マスク、参照表現などの異なるアノテーション粒度を持つ、500万枚を超える多様なデータセットからの画像を用いて、ジョイントトレーニングを実施。
• 自動アノテーションされたデータを統合することで、ゼロショット一般化を強化し、人的アノテーションに依存する度合いを低減。
• タスク間の最適化を統一的に調整する学習戦略を採用し、すべての下流タスクの性能を同時に向上。
• トランスフォーマーに基づくアテンションメカニズムを用いて、プロンプト特徴（例：点、ボックス）と前フレームのマスクを統合することで、インタラクティブセグメンテーションおよびトラッキングを実現。
• ODinW などのオープンワールドデータセットにおいて、フルモデル微調整およびフェイシット適応をサポートするスケーラブルなトレーニングパイプラインを設計。

実験結果

リサーチクエスチョン

• RQ1 タスク固有の適応なしに、多様なオブジェクト中心のビジョンタスクで最先端の性能を達成できる単一の基盤モデルは構築可能か？
• RQ2 多様な粒度と複数のソースのデータに、さまざまな教師信号レベルを組み合わせたジョイントトレーニングは、ゼロショット一般化の向上にどの程度効果的か？
• RQ3 視覚的プロンプト（点、ボックス、スクラッチ）は、画像および動画の両方において、インタラクティブセグメンテーションおよびトラッキングをどの程度可能にするか？
• RQ4 ODinW などのオープンワールドデータセットにおいて、フェイシットおよびゼロショット設定でのモデルの性能はいかがなものか？
• RQ5 大規模言語モデルに効果的に統合可能であり、ユニバーサルな視覚認識モジュールとしての役割を果たせるか？

主な発見

• GLEE は、COCO、LVIS、RefCOCO などのベンチマークで、検出、セグメンテーション、グラウディング、トラッキングを含む15以上のオブジェクト中心タスクで、ゼロショット性能において最先端を記録した。
• ODinW データセットでは、1ショット設定で 72.6% mAP（IoU=0.50:0.95）を達成し、10ショット設定では 74.1% を記録し、優れたフェイシット転送性能を示した。
• GLEE-Plus は、フル微調整で LVIS で 89.7% AP、RefCOCO+ で 83.6% AP を達成し、GLIP-L や DyHead などの先行モデルを上回った。
• GLEE-Pro は、COCO テストデブセットで 92.0% AP、RefCOCO で 80.6% AP を達成し、オープンボキャブラリーおよび参照表現タスクにおいて優れた性能を示した。
• 視覚的プロンプト（点、ボックス、スクラッチ）を介したインタラクティブセグメンテーションおよびトラッキングは、画像および動画の両方で高い正確性を達成しており、定性的な結果およびオンラインデモでも検証された。
• 自動アノテーションデータの統合と複数ソースの教師信号の活用により、未学習のカテゴリーやドメインに対しても強力な一般化性能を示した。