[論文レビュー] A Generalist Framework for Panoptic Segmentation of Images and Videos

Ting Chen, Lala Li+3 more|arXiv (Cornell University)|Oct 12, 2022

Image Retrieval and Classification Techniques被引用数 10

ひとこと要約

本稿では、アナログビットを用いた拡散モデルを用いて条件付き離散マスク生成として定式化することで、画像および動画のパノプティックセグメンテーションのための汎用フレームワークを提案する。単純なアーキテクチャと汎用損失を活用することで、タスク固有の設計を施さずに専門モデルと同等の性能を達成し、過去の予測をストリーミングで条件付けすることで動画セグメンテーションを可能にしている。

ABSTRACT

Panoptic segmentation assigns semantic and instance ID labels to every pixel of an image. As permutations of instance IDs are also valid solutions, the task requires learning of high-dimensional one-to-many mapping. As a result, state-of-the-art approaches use customized architectures and task-specific loss functions. We formulate panoptic segmentation as a discrete data generation problem, without relying on inductive bias of the task. A diffusion model is proposed to model panoptic masks, with a simple architecture and generic loss function. By simply adding past predictions as a conditioning signal, our method is capable of modeling video (in a streaming setting) and thereby learns to track object instances automatically. With extensive experiments, we demonstrate that our simple approach can perform competitively to state-of-the-art specialist methods in similar settings.

研究の動機と目的

• タスク固有のアーキテクチャや損失関数に依存しない汎用的かつタスクに依存しないパノプティックセグメンテーションフレームワークの開発。
• 拡散モデルを用いて高次元のパノプティックマスクを離散トークン系列としてモデル化し、自己回帰的生成の制限を克服すること。
• 過去のフレーム予測をストリーミングで条件付けすることで、エンドツーエンドの動画パノプティックセグメンテーションを実現すること。
• 単純な汎用的手法が、画像および動画設定の両方で最先端の専門的手法と同等の性能を示すことを実証すること。

提案手法

• パノプティックセグメンテーションを、セマンティックおよびインスタンスラベルの2チャネルカテゴリカル系列として扱う条件付き離散マスク生成として定式化する。
• ビット拡散モデルを用いて、アナログビットによる離散トークン表現を介して、直接的に大規模な離散マスクを生成する。これにより、高次元のカテゴリカルデータに対する学習が可能になる。
• モデルを画像エンコーダーとマスクデコーダーに分解し、推論時にデコーダーのみを通過させるという効率的な反復的推論を可能にする。
• 過去のフレーム予測を追加のコンテキストとして追加することで、動画におけるマスク生成を条件づけ、自動的なインスタンス追跡を実現する。
• タスク固有の誘導的バイアスを含まない汎用的な交差エントロピー損失を用いて学習し、入力画像が与えられたもとでの正解マスクの尤度を最適化する。
• 画像および動画データの両方に対して、最小限の動画ストリーミング用の適合を伴いながら、同一のモデルアーキテクチャおよび学習手順を適用する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のアーキテクチャや損失関数に依存しない汎用的かつタスクに依存しないフレームワークは、パノプティックセグメンテーションで競合性能を達成できるか？
• RQ2 拡散モデルは、自己回帰的モデルの逐次的制限を克服し、大規模な離散パノプティックマスクを効果的に生成できるか？
• RQ3 過去の予測をストリーミングで条件付けすることで、単一の画像ベースモデルを動画セグメンテーションに拡張でき、自動的なインスタンス追跡が可能になるか？
• RQ4 汎用的な拡散ベース手法は、画像および動画パノプティックセグメンテーションベンチマークにおいて、専門的最先端手法と比較して精度および効率の点でどうなるか？

主な発見

• 提案されたビット拡散ベースのフレームワークは、MS-COCO、Cityscapes、DAVISベンチマークで競争性能を達成し、汎用アーキテクチャおよび損失を用いながらも、最先端の結果と同等またはそれに近い結果を示した。
• 拡散プロセスを用いて、100万トークンを超える大規模な離散パノプティックマスクを効果的に生成し、高次元離散データへのスケーラビリティを実証した。
• 過去のフレーム予測を条件付けすることで、明示的なトラッキングヘッドやインスタンスマッチングモジュールを備えずとも、オブジェクトをフレーム間で追跡する能力を学習した。
• 無教師動画オブジェクトセグメンテーション（UVOS）にも良好に一般化され、最小限のファインチューニングと手動初期化なしに強力な結果を達成した。
• 画像エンコーダーとマスクデコーダーの分離により推論プロセスが効率的であり、生成中にデコーダーのみを反復的に通過させることが可能になった。
• シンプルで汎用的なアプローチが、複雑な専門的パイプラインを上回るか同等の性能を示すことを実証した。これは、将来のスケーラブルで柔軟なビジョンモデルの可能性を示唆している。