[論文レビュー] FastInst: A Simple Query-Based Model for Real-Time Instance Segmentation

Junjie He, Pengyu Li+2 more|arXiv (Cornell University)|Mar 15, 2023

Image Retrieval and Classification Techniques被引用数 6

ひとこと要約

FastInstは、軽量なアーキテクチャを用いて、COCO test-devで40.5 AP、32.5 FPSのリアルタイム推論を達成するクエリベースのインスタンスセグメンテーションフレームワークを提案する。インスタンス活性化ガイド付きクエリ、二重パス更新戦略、および真値マスクガイド付き学習を導入することで、重いピクセルデコーダーや複数のTransformer層への依存を低減し、低遅延で高い精度を実現する。

ABSTRACT

Recent attention in instance segmentation has focused on query-based models. Despite being non-maximum suppression (NMS)-free and end-to-end, the superiority of these models on high-accuracy real-time benchmarks has not been well demonstrated. In this paper, we show the strong potential of query-based models on efficient instance segmentation algorithm designs. We present FastInst, a simple, effective query-based framework for real-time instance segmentation. FastInst can execute at a real-time speed (i.e., 32.5 FPS) while yielding an AP of more than 40 (i.e., 40.5 AP) on COCO test-dev without bells and whistles. Specifically, FastInst follows the meta-architecture of recently introduced Mask2Former. Its key designs include instance activation-guided queries, dual-path update strategy, and ground truth mask-guided learning, which enable us to use lighter pixel decoders, fewer Transformer decoder layers, while achieving better performance. The experiments show that FastInst outperforms most state-of-the-art real-time counterparts, including strong fully convolutional baselines, in both speed and accuracy. Code can be found at https://github.com/junjiehe96/FastInst .

研究の動機と目的

• クエリベースのモデルの有効性を示すことで、高精度かつリアルタイムのインスタンスセグメンテーションにおける効率的アーキテクチャ設計の可能性を解明する。
• 従来のクエリベースモデルがしばしば多数のTransformerデコーダー層と重いピクセルデコーダーを必要とすることによる非効率性と高い計算コストを克服する。
• NMSや複雑な後処理に依存せずに、COCOベンチマークで最先端のスピード・アキュラシー性能を達成する。
• ロボットics や自動運転などのリアルワールドアプリケーションに適した、軽量でエンドツーエンドかつNMSフリーのインスタンスセグメンテーションを実現する。

提案手法

• 特徴マップから高意味的ポテンシャルを持つピクセル埋め込みを動的に選択するインスタンス活性化ガイド付きクエリを導入し、クエリの精緻化にかかる計算を削減する。
• Transformerデコーダー内でクエリ特徴とピクセル特徴を交互に更新する二重パス更新戦略を実装し、特徴表現を強化するとともに収束を加速する。
• 訓練中に標準的なマスク付きアテンションの代わりに固定のバイパートマッチングベースの真値マスクを用いる真値マスクガイド付き学習を適用し、各クエリが対象オブジェクト全体の領域に注目できるようにする。
• 正弦波のものではなく学習可能な位置埋め込みを用いることで、性能に劣化を来さずに推論速度を向上させる。
• より良いクエリと特徴の相互作用を実現することで、MSDeformAttnのような複雑なモジュールへの依存を減らした軽量なピクセルデコーダーを設計する。
• クエリ数と選択元（例：特徴マップのスケール）を最適化し、精度と速度のバランスを取る。E4特徴マップが良好なトレードオフを示している。

実験結果

リサーチクエスチョン

• RQ1 NMSや重い後処理に依存せず、COCOで30 FPS以上かつ40以上のAPを達成するクエリベースのインスタンスセグメンテーションモデルは、リアルタイム推論を実現できるか？
• RQ2 クエリ初期化プロセスをどのように改善すれば、必要なTransformerデコーダー層の数を減らし、収束を早められるか？
• RQ3 二重パス更新戦略は、クエリベースモデルにおける重いピクセルデコーダーへの依存をどの程度低減でき、特徴表現をどのように向上させられるか？
• RQ4 真値マスクガイド付き学習により、訓練中にオブジェクト全体の領域に効果的に注目できるようになることで、マスク付きアテンションの性能は向上するか？
• RQ5 スピードとアキュラシーのバランスを取るために、最適なクエリタイプ（IAガイドド対補助的）と特徴マップスケールの組み合わせは何か？

主な発見

• FastInstは、ResNet-50バックボーンを用いてCOCO test-devで40.5 AP、32.5 FPSを達成し、装飾なしでリアルタイムインスタンスセグメンテーション分野で新たなSOTAを樹立した。
• 高速バージョンを用いることで、1枚のV100 GPU上で35.6 AP、53.8 FPSを達成し、単一GPU上での優れたスピード・アキュラシーのトレードオフを示した。
• 6つのTransformerデコーダー層のみを用いても30.5 APを達成しており、性能が早期に飽和することを示しており、層数を減らすことで推論速度が向上することがわかった。
• バイパートマッチングと位置コスト損失を組み合わせたインスタンス活性化ガイド付きクエリは、前景オブジェクトに集中したクエリ分布を生み出し、局所化精度とリコールを向上させた。
• 10個のIAガイド付きクエリを追加するだけで31.2 APを達成し、わずかな数の動的クエリでも強力な性能が得られることを示した。
• 正弦波の位置埋め込みを学習可能なものに置き換えることで、性能に損なわれることなく推論速度が向上し、実装上の効率性向上が確認された。