[論文レビュー] Obj2Seq: Formatting Objects as Sequences with Class Prompt for Visual Tasks

Zhiyang Chen, Yousong Zhu+9 more|arXiv (Cornell University)|Sep 28, 2022

Advanced Neural Network Applications被引用数 8

ひとこと要約

Obj2Seq は、クラスプロンプトに条件づけられたシーケンス生成問題に、検出、分類、ポーズ推定などの多様な視覚的タスクを再定式化する統合的でオブジェクト中心のフレームワークを提案する。オブジェクトをシーケンスの単位として扱い、プロンプテッド・ビジュアルインジケーターと一般シーケンス予測器を用いることで、COCOオブジェクト検出で45.7% AP、マルチラベル分類で89.0% AP、ヒューマンポーズ推定で65.0% APを達成し、最小限のタスク固有の適応で、多様なタスクにわたる強力な一般化性能を示している。

ABSTRACT

Visual tasks vary a lot in their output formats and concerned contents, therefore it is hard to process them with an identical structure. One main obstacle lies in the high-dimensional outputs in object-level visual tasks. In this paper, we propose an object-centric vision framework, Obj2Seq. Obj2Seq takes objects as basic units, and regards most object-level visual tasks as sequence generation problems of objects. Therefore, these visual tasks can be decoupled into two steps. First recognize objects of given categories, and then generate a sequence for each of these objects. The definition of the output sequences varies for different tasks, and the model is supervised by matching these sequences with ground-truth targets. Obj2Seq is able to flexibly determine input categories to satisfy customized requirements, and be easily extended to different visual tasks. When experimenting on MS COCO, Obj2Seq achieves 45.7% AP on object detection, 89.0% AP on multi-label classification and 65.0% AP on human pose estimation. These results demonstrate its potential to be generally applied to different visual tasks. Code has been made available at: https://github.com/CASIA-IVA-Lab/Obj2Seq.

研究の動機と目的

• 出力フォーマットが異なり、高次元のオブジェクトレベル出力を伴う多様な視覚的タスクを統合する課題に対処すること。
• ユーザーがクラスプロンプトでターゲットカテゴリを指定できるようにすることで、柔軟でタスクに依存しない推論を可能にすること。
• 多様な視覚的タスクにおけるオブジェクト認識と属性シーケンス生成を分離する統一フレームワークを設計すること。
• タスク固有のヘッド設計や微調整なしに、モデルの制御性とタスク間での一般化性能を向上させること。
• 自然言語処理におけるシーケンス・ツー・シーケンスの枠組みを、特にオブジェクトレベルのタスクに視覚分野へ拡張可能かどうかを検討すること。

提案手法

• フレームワークは画像とクラスプロンプトを入力とし、プロンプテッド・ビジュアルインジケーターを用いて指定されたカテゴリのオブジェクトを検出する。
• プロンプテッド・ビジュアルインジケーターは、学習可能またはCLIPで初期化されたクラスプロンプトベクトルを用いて、オブジェクト検出およびオブジェクトクエリの初期化をガイドする。
• オブジェクト特徴はオブジェクトトランスフォーマー・デコーダーによって処理され、各検出されたオブジェクトの文脈に適した表現が生成される。
• 一般シーケンス予測器は、各オブジェクトについて、タスク固有の属性のシーケンス（例：バウンディングボックス、キーポイント、ラベル）を統合的かつ自己回帰的に生成する。
• モデルは、各タスクの予測シーケンスと正例ターゲットを一致させるためのシーケンスマッチング損失を用いて、エンド・トゥ・エンドで訓練される。
• 保留ポリシー機構により、推論時に不要なカテゴリをフィルタリング可能であり、クラス存在スコアを用いることで、ポリシー変更時の予測安定性が向上する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトレベルの視覚的タスクは、最小限のアーキテクチャ変更で、シングル・シーケンス生成フレームワークに統合可能だろうか？
• RQ2 クラスプロンプトの使用が、ユーザー定義のターゲットカテゴリへのモデルの制御性と適応性をどのように向上させるのか？
• RQ3 1つのモデルが、検出、分類、ポーズ推定といった多様な視覚的タスクで、どれほど競争力ある性能を達成できるのか？
• RQ4 推論時の保留ポリシーの変更に対して、このフレームワークはどれほど頑健なのか？
• RQ5 視覚分野におけるシーケンスベースのモデリングは、タスク固有のヘッド設計なしに、タスク固有モデルと同等の性能を達成できるのか？

主な発見

• 検出タスク用に訓練した場合、Obj2Seq は MS COCO オブジェクト検出で45.7% APを達成し、標準ベンチマークで強力な性能を示している。
• マルチラベル画像分類では89.0% APを達成し、マルチクラス出力フォーマットへの強力な一般化性能を示している。
• キーポイントアノテーションを用いたヒューマンポーズ推定では65.0% APを達成し、構造的属性シーケンスの有効なモデリングを示している。
• CLIPで初期化されたプロンプトベクトルを用いることで、ランダム初期化より0.3%の性能向上が得られたが、最適な整合性を得るには微調整が必要である。
• 推論時の保留ポリシーの変更に対してもモデルは頑健であり、異なるトップ-Kおよびしきい値ベースのフィルタリング戦略において、mAPが0.2%以内で変動する。
• オブジェクトネスブランチにクラス存在スコアを含めることで、トレーニング時と推論時の保留ポリシーが異なる場合のロバスト性が向上する。