[論文レビュー] Universal Instance Perception as Object Discovery and Retrieval

Bin Yan, Yi Jiang+5 more|arXiv (Cornell University)|Mar 12, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は、物体検出、インスタンスセグメンテーション、参照表現理解、動画トラッキングなどの多様なタスクを、1つのプロンプト駆動型のオブジェクト発見・検索フレームワークに統合するUNINEXTを提案する。早期特徴統合と柔軟なTransformerベースのデコーダーを活用することで、1つのパrameter効率の良いモデルで20のベンチマークで最先端の性能を達成した。

ABSTRACT

All instance perception tasks aim at finding certain objects specified by some queries such as category names, language expressions, and target annotations, but this complete field has been split into multiple independent subtasks. In this work, we present a universal instance perception model of the next generation, termed UNINEXT. UNINEXT reformulates diverse instance perception tasks into a unified object discovery and retrieval paradigm and can flexibly perceive different types of objects by simply changing the input prompts. This unified formulation brings the following benefits: (1) enormous data from different tasks and label vocabularies can be exploited for jointly training general instance-level representations, which is especially beneficial for tasks lacking in training data. (2) the unified model is parameter-efficient and can save redundant computation when handling multiple tasks simultaneously. UNINEXT shows superior performance on 20 challenging benchmarks from 10 instance-level tasks including classical image-level tasks (object detection and instance segmentation), vision-and-language tasks (referring expression comprehension and segmentation), and six video-level object tracking tasks. Code is available at https://github.com/MasterBin-IIAU/UNINEXT.

研究の動機と目的

• 画像レベルの検出から動画トラッキングに至るまで、散在するインスタンス認識タスクを1つの整合性のあるフレームワークに統合すること。
• タスク固有のモデルが抱える制限、例えば重複するパラメータ、知識の共有不足、多様なラベル語彙の間での共同学習の難しさを克服すること。
• アーキテクチャの変更なしに、カテゴリ名、言語表現、参照アノテーションなどのプロンプトを用いて柔軟にオブジェクトを認識すること。
• 共同学習による大規模でマルチタスクなデータの活用により、リソースが限られたタスクの性能を向上させること。
• 統一されたアーキテクチャを用いて複数のタスク間でパラメータを共有することで、パrameter効率と計算コストの削減を実現すること。

提案手法

• 10のインスタンス認識タスクを、プロンプトがN個のオブジェクト候補の発見を誘導し、その後インスタンス-プロンプトマッチングスコアによって検索する、統一されたプロンプト駆動型オブジェクト発見・検索パラダイムに再定式化する。
• テキスト的または視覚的リファレンスを含む多様なプロンプトタイプを、共通の表現空間に埋め込むために、リファレンステキストエンコーダーと視覚エンコーダーを備えたプロンプト生成モジュールを導入する。
• インスタンスデコーダーの前段で視覚特徴とプロンプト埋め込みを連結またはアテンション処理することで、深層のクロスマodal相互作用を可能にする早期統合モジュールを採用する。
• Transformerベースのオブジェクト検出器をインスタンスデコーダーとして使用し、N個のオブジェクト候補を生成し、プロンプトとの類似度スコアに基づいて最も関連性の高いインスタンスを検索する。
• プロンプト埋め込みに条件づけられた動的クエリ学習を採用することで、特にトラッキングやセグメンテーションタスクにおいて、検出されたインスタンス間の関係をよりよく捉える。
• 同じモデルアーキテクチャと共有パラメータを用いることで、異なるラベル空間とデータ分布を持つタスク間での共同学習を可能にし、固定サイズの分類器の制約を回避する。

実験結果

リサーチクエスチョン

• RQ1 1つの統一モデルが、共通のフレームワークを用いて、検出、セグメンテーション、トラッキング、参照表現理解といった多様なインスタンス認識タスクを効果的に解けるか？
• RQ2 視覚的特徴とプロンプト埋め込みの早期統合が、とりわけ希少または複雑な参照タスクにおいて、性能にどのように影響を与えるか？
• RQ3 マルチタスクインスタンス認識の文脈において、動的クエリ初期化と静的クエリ初期化の相対的な利点は何か？
• RQ4 複数のインスタンス認識タスクにおける共同学習が、一般化性能と性能に与える影響はどの程度か、特にリソースが限られたベンチマークにおいて。
• RQ5 統一モデルは、タスク固有のモデルよりも優れた性能を達成しながら、よりパラメータ効率的になれるか？

主な発見

• UNINEXTは、10のインスタンスレベルタスクをカバーする20の挑戦的なベンチマークで最先端の性能を達成した。具体的には、物体検出（COCOにおけるAP 66.2）、参照表現セグメンテーション（RefCOCOにおけるP@0.5 71.1）、動画像インスタンスセグメンテーション（YouTube-VIS 2019におけるAP 76.8、ViT-Hバックボーン使用）など。
• アブレーションスタディでは、早期特徴統合を除去すると、VOSにおけるマスク品質（J&F）が21.4ポイント低下することが判明し、プロンプト駆動タスクにおけるクロスマodal相互作用の重要性が示された。
• 動的クエリ生成はほとんどのタスクで静的クエリをわずかに上回るが、VISでは静的クエリが2.8 AP高い結果を示し、長時間のシーケンスにおけるインスタンス間関係のモデリングが優れていることが示唆された。
• 統一モデルは、タスク固有のモデルよりも、物体検出で+0.5 AP、RECで+2.1 P@0.5、VOSで+2.8 J&F、RVOSで+4.0 J&F、VISで+2.9 APの向上を達成し、共同学習の利点を示した。
• UNINEXTは顕著なパラメータ効率を達成し、タスク固有のモデルが別々の学習・推論パイプラインを必要とするのに対し、1つのモデルを全タスクに共有することで計算リソースの冗長性を削減した。
• モデルはドメインやタスクを問わず良好な一般化性能を示し、多様なデータに対する共同事前学習が、特にリソースが限られたタスク（R-VOS や MOTS）におけるゼロショットおよびフェイシュット性能を向上させることを示した。