[論文レビュー] OmDet: Large-scale vision-language multi-dataset pre-training with multimodal detection network

Tiancheng Zhao, Peng Liu+1 more|arXiv (Cornell University)|Sep 10, 2022

Multimodal Machine Learning Applications参考文献 57被引用数 8

ひとこと要約

OmDetは、継続的で多様なデータセットを用いた視覚言語事前学習を可能にする言語に配慮したオブジェクト検出フレームワークを提案する。言語に依存する特徴統合と新しい学習戦略を備えたマルチモーダル検出ネットワークにより、異なるデータセット間の分類体系の矛盾や前景/背景の不一致を克服し、2000万枚の画像から学習された400万以上の固有の視覚的概念を活用して、ODinWの35の下流タスクで最先端のゼロ/フェイントショット一般化性能を達成した。

ABSTRACT

The advancement of object detection (OD) in open-vocabulary and open-world scenarios is a critical challenge in computer vision. This work introduces OmDet, a novel language-aware object detection architecture, and an innovative training mechanism that harnesses continual learning and multi-dataset vision-language pre-training. Leveraging natural language as a universal knowledge representation, OmDet accumulates a "visual vocabulary" from diverse datasets, unifying the task as a language-conditioned detection framework. Our multimodal detection network (MDN) overcomes the challenges of multi-dataset joint training and generalizes to numerous training datasets without manual label taxonomy merging. We demonstrate superior performance of OmDet over strong baselines in object detection in the wild, open-vocabulary detection, and phrase grounding, achieving state-of-the-art results. Ablation studies reveal the impact of scaling the pre-training visual vocabulary, indicating a promising direction for further expansion to larger datasets. The effectiveness of our deep fusion approach is underscored by its ability to learn jointly from multiple datasets, enhancing performance through knowledge sharing.

研究の動機と目的

• 複数の視覚言語データセットからの継続的学習を可能にすることで、オープンボックスおよびフェイントショットオブジェクト検出の課題に取り組む。
• 異なるラベルセットを持つデータセット間の統合学習において、分類体系の矛盾や前景/背景の不一致問題を解決する。
• 任意のユーザー定義オブジェクトカテゴリに動的に適応可能なスケーラブルで言語に依存する検出フレームワークを開発する。
• 多様なデータセットを用いた事前学習により視覚語彙のサイズを拡大することで、ゼロ/フェイントショットおよびパrameter効率の良い微調整性能が向上することを示す。
• 多様で現実世界のODinWベンチマーク（35の下流検出タスクをカバー）において、最先端の結果を達成する。

提案手法

• 検出をタスクに依存する自由形式の自然言語入力問題として定式化する、言語に配慮したオブジェクト検出アーキテクチャ「OmDet」を提案する。
• 視覚的および言語的特徴を複数段階で統合するマルチモーダル検出ネットワーク（MDN）を導入し、入力タスク記述に応じた動的ロケライゼーションおよび分類を可能にする。
• 異なるラベルセットを持つデータセット間での統合学習を可能にする、ラベル分類体系の統合を必要としない新しい多様なデータセット学習アルゴリズムを設計する。
• 2000万枚以上の画像と400万以上の固有のオブジェクトラベルを用いた大規模な事前学習を実施し、人為的ラベル付けと疑似ラベル付けの両方のデータを含む。
• パrameter効率の良い適応を可能にするために、プロンプトチューニングとヘッドのみの微調整を活用し、限られたドメイン内データでの下流タスクへの適応を実現する。
• MDNブロック内でトップダウンの反復的リファインメント機構を適用し、提案ボックスが複数段階にわたり、全体画像領域から特定のオブジェクト領域へと焦点を絞めて進化する。

実験結果

リサーチクエスチョン

• RQ1 手動によるラベル分類体系の整合化が不要な状態で、多様なオブジェクト検出データセットの継続的ストリームから効果的に学習できるか？
• RQ2 複数のデータセットを統合して事前学習することで、オブジェクト検出におけるゼロショットおよびフェイントショット一般化性能にどのような影響を与えるか？
• RQ3 多様なデータセット学習による視覚的概念語彙のサイズ拡大が、パrameter効率の良い微調整（例：プロンプトチューニング）にどの程度寄与するか？
• RQ4 提案された言語に配慮した検出フレームワークは、オープンボックス検出ベンチマークで既存の視覚言語事前学習手法を上回る性能を示すか？
• RQ5 モデルの動的でタスクに依存する挙動は、視覚的注意とボクセルボックスのリファインメントにおいてどのように現れるか？

主な発見

• OmDetはODinWベンチマークで最先端の性能を達成し、より小規模なコーパスで事前学習されているにもかかわらずGLIPを上回り、ゼロショット評価で平均精度が1.1ポイント高い。
• フェイントショット検出タスク（≤200枚の訓練画像）において、OmDetはベースモデルのOmDet-Cと比較してAPを6.41ポイント向上させ、優れたフェイントショット一般化性能を示した。
• GCCデータセットを含めた事前学習により、ゼロショット性能が9.8から16.0APに向上した。これは、多様で大規模な言語-視覚データの重要性を示している。
• パrameter効率の良い微調整（例：プロンプトチューニング）において、OmDet事前学習を用いることで、性能低下率が65.9％から45.5％に大幅に低下し、リソースが限られた環境での適応に有効であることが証明された。
• 可視化により、OmDetがトップダウンのタスクに配慮した方法で、2〜3段階の段階を経て、オブジェクト提案を全体画像領域から特定の関心オブジェクト領域へと動的に絞り込んでいることが確認された。
• AP曲線は、事前学習語彙サイズの増加に伴い一貫して上昇する傾向を示しており、より大きな視覚的概念カバレッジが強力な一般化と特徴学習をもたらすことを示している。