[論文レビュー] Video K-Net: A Simple, Strong, and Unified Baseline for Video Segmentation

Xiangtai Li, Wenwei Zhang+5 more|arXiv (Cornell University)|Apr 10, 2022

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

Video K-Net は、K-Net からの学習可能カーネルを活用することで、インスタンスセグメンテーションとトラッキングを統合的に実行するシンプルで統合的かつエンドツーエンドのフレームワークを提案する。カーネルベースのアピアランスモデリングと対照的損失を用いたクロステンポラルカーネル相互作用を導入し、時間的関連付けを実現し、Cityscapes-VPS、KITTI-STEP、VIPSeg で最先端の性能を達成した。KITTI-STEP では相対的に 12% の向上、VIPSeg では 15% の向上を達成した。

ABSTRACT

This paper presents Video K-Net, a simple, strong, and unified framework for fully end-to-end video panoptic segmentation. The method is built upon K-Net, a method that unifies image segmentation via a group of learnable kernels. We observe that these learnable kernels from K-Net, which encode object appearances and contexts, can naturally associate identical instances across video frames. Motivated by this observation, Video K-Net learns to simultaneously segment and track "things" and "stuff" in a video with simple kernel-based appearance modeling and cross-temporal kernel interaction. Despite the simplicity, it achieves state-of-the-art video panoptic segmentation results on Citscapes-VPS, KITTI-STEP, and VIPSeg without bells and whistles. In particular, on KITTI-STEP, the simple method can boost almost 12\% relative improvements over previous methods. On VIPSeg, Video K-Net boosts almost 15\% relative improvements and results in 39.8 % VPQ. We also validate its generalization on video semantic segmentation, where we boost various baselines by 2\% on the VSPW dataset. Moreover, we extend K-Net into clip-level video framework for video instance segmentation, where we obtain 40.5% mAP for ResNet50 backbone and 54.1% mAP for Swin-base on YouTube-2019 validation set. We hope this simple, yet effective method can serve as a new, flexible baseline in unified video segmentation design. Both code and models are released at https://github.com/lxtGH/Video-K-Net.

研究の動機と目的

• 分離されたモジュールを用いてセグメンテーションとトラッキングを実行する従来の動画パノプティックセグメンテーション手法の複雑なパイプラインを簡素化すること。
• エンドツーエンドのインスタンスレベルのトラッキングを統合的に実行するフレームワークで、「もの（things）」と「ものでないもの（stuff）」のセグメンテーションを統合すること。
• RoIヘッドやトラッキングクエリなどの補助的コンponentsの必要性を排除し、計算コストを低減すること。
• カーネルレベルの統合と関連付けを用いて、動画セグメンテーションにおける時間的整合性を向上させること。
• 統一された動画セグメンテーションのための強力でシンプルかつ汎用性の高いベースラインを確立すること。

提案手法

• K-Net からの学習可能カーネルを、動画フレーム全体にわたる外見とコンテキスト符号化の内在的表現として活用する。
• 対照的学習損失を用いたカーネル関連ヘッドを導入し、時間的トラッキングのための判別性の高い埋め込みを生成する。
• 時間的カーネル統合モジュールを適用し、隣接フレーム間のカーネルレベルでの統合を実現し、高価な特徴量レベルのアテンションや段階的なモジュールを回避する。
• トレーニング中に、ハンガリアン割り当てを用いてカーネルと正例マスクをマッチングさせ、不一致サンプルからのノイズを低減し、ロバスト性を確保する。
• 学習済み埋め込みに基づいてフレーム間でカーネルをリンクすることでオンライントラッキングを実行し、別個のトラッキングクエリや後処理のNMSの必要性を排除する。
• キーフレームとリファレンスフレームを同時に学習することで、一貫性のあるセグメンテーションとトラッキングのためのカーネルグループ化と分離を向上させる。

実験結果

リサーチクエスチョン

• RQ1 K-Net などの画像セグメンテーションモデルからの学習可能カーネルが、追加のトラッキングヘッドやクエリを必要とせずにエンドツーエンドの動画インスタンストラッキングを自然にサポートできるか？
• RQ2 動画パノプティックセグメンテーションにおいて、特徴量レベルの統合と比較して、カーネルレベルの時間的統合は、正確性と効率性の面でどのように異なるか？
• RQ3 特にキーフレームとリファレンスフレームを同時に使用するトレーニング戦略が、カーネル関連付けとセグメンテーション性能に与える影響は何か？
• RQ4 提案手法のカーネルベースの関連付け手法は、RoIベースやクエリベースのトラッキングと比較して、正確性と計算コストの面でどのように異なるか？
• RQ5 統一されたカーネルベースのフレームワークは、セマンティックセグメンテーションやインスタンスセグメンテーションを含む、さまざまな動画セグメンテーションタスクにどの程度汎用的に適用できるか？

主な発見

• Video K-Net は、KITTI-STEP で 12% の相対的向上を達成し、よりシンプルなパイプラインで従来手法を著しく上回った。
• VIPSeg では 39.8% の VPQ を達成し、前回の結果からほぼ 15% の相対的向上を実現した。
• KITTI-STEP ではベースライン K-Net に対して STQ を 3.5% 向上させたが、GFLOPs は 2.3%、パラメータは 1.8% のみ増加した。
• VSPW における動画セマンティックセグメンテーションでは、さまざまなベースラインを 2% の mIoU 向上で改善し、強い汎用性を示した。
• YouTube-2019 における動画インスタンスセグメンテーションでは、ResNet-50 で 40.5% の mAP、Swin-Base で 54.1% を達成し、大規模ベンチマークでも強力な性能を示した。
• アブレーションスタディの結果、最終段階でのカーネルリンクとトレーニング時のマッチドカーネルサンプルの使用が最良の結果をもたらすことが確認されたが、早期統合は性能を低下させた。