[論文レビュー] Mask Propagation for Efficient Video Semantic Segmentation

Yuetian Weng, Mingfei Han+5 more|arXiv (Cornell University)|Oct 29, 2023

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

本論文は、スパースなキーフレームにおけるクエリベースの画像セグメンテーションを活用し、セグメントに特化したフローマップを学習することで、非キーフレームへの正確で効率的なマスクワープを実現する、効率的な動的セマンティックセグメンテーションのための新しいマスク伝搬フレームワークMPVSSを提案する。この手法は、SOTAモデルのMRCFAと比較してVSPWで4.0% mIoUの向上を達成しながら、FLOPsの26%にまで削減し、精度の低下を最小限に抑えつつ、1フレームベースラインと比較して最大4倍のFLOPs削減を実現した。

ABSTRACT

Video Semantic Segmentation (VSS) involves assigning a semantic label to each pixel in a video sequence. Prior work in this field has demonstrated promising results by extending image semantic segmentation models to exploit temporal relationships across video frames; however, these approaches often incur significant computational costs. In this paper, we propose an efficient mask propagation framework for VSS, called MPVSS. Our approach first employs a strong query-based image segmentor on sparse key frames to generate accurate binary masks and class predictions. We then design a flow estimation module utilizing the learned queries to generate a set of segment-aware flow maps, each associated with a mask prediction from the key frame. Finally, the mask-flow pairs are warped to serve as the mask predictions for the non-key frames. By reusing predictions from key frames, we circumvent the need to process a large volume of video frames individually with resource-intensive segmentors, alleviating temporal redundancy and significantly reducing computational costs. Extensive experiments on VSPW and Cityscapes demonstrate that our mask propagation framework achieves SOTA accuracy and efficiency trade-offs. For instance, our best model with Swin-L backbone outperforms the SOTA MRCFA using MiT-B5 by 4.0% mIoU, requiring only 26% FLOPs on the VSPW dataset. Moreover, our framework reduces up to 4x FLOPs compared to the per-frame Mask2Former baseline with only up to 2% mIoU degradation on the Cityscapes validation set. Code is available at https://github.com/ziplab/MPVSS.

研究の動機と目的

• 動的セマンティックセグメンテーション（VSS）において、強力な画像セグメンテーションモデルをすべての動画フレームに適用する高コストな計算を軽減すること。
• スパースなキーフレームからの正確なマスク予測を再利用することで、動画処理における時間的冗長性を低減すること。
• ピクセルレベルのオプティカルフローに依存するのではなく、セグメントレベルの情報を組み込むことで、マスクワープのためのフローエstimatationを改善すること。
• カテゴリの一貫性を損なわず、VSSにおける優れた精度-効率トレードオフを達成すること。

提案手法

• 強力なクエリベースの画像セグメンテーションモデル（例：Mask2Former）をスパースなキーフレームにのみ適用し、正確なバイナリマスクとクラス予測を生成する。
• クエリベースのフローエstimatationモジュールを提案し、キーフレームの各クエリが対応するマスクに特化したセグメントに特化したフローマップを生成する。
• キーフレームからの同じクエリ埋め込みを用いてフローマップを学習することで、各セグメントごとの動き特徴を抽出し、フローアクキュラシーを向上させる。
• 予測されたクエリベースのフローマップを用いて、キーフレームからのマスク予測を非キーフレームにワープし、1フレームごとの推論を置き換える。
• ピクセル単位のフローをセグメントレベルの動きの手がかりを用いて精錬することで、さらにワープ品質を向上させる。
• フレームワークは柔軟なキーフレーム間隔をサポートしており、精度と計算コストの間で動的なトレードオフを可能にする。

Figure 1 : Motivation of the proposed MPVSS. Three consecutive frames with ground truth category labels are sampled from a video in VSPW [ 42 ] , illustrating a strong correlation between video frames along the temporal dimension. This observation underscores the significant temporal redundancy pres

実験結果

リサーチクエスチョン

• RQ1 従来のオプティカルフローと比較して、セグメントに特化したフローエstimatationは、動的セマンティックセグメンテーションにおけるマスク伝搬精度を向上させるか？
• RQ2 キーフレームからのマスク予測を再利用することは、動的セマンティックセグメンテーションの効率性と精度にどのように影響するか？
• RQ3 クエリベースのフローラーニングは、高いmIoU性能を維持しつつ、計算コストをどの程度削減できるか？
• RQ4 キーフレーム間隔が拡大するに従って、提案手法の精度劣化はどの程度のものか、そのロバスト性はいかがなものか？

主な発見

• VSPWデータセットにおいて、スワイン-Lバックボーンを用いたMPVSSは、SOTAのMRCFA手法と比較して4.0%高いmIoUを達成したが、FLOPsは26%にまで削減された。
• 1フレームベースラインのMask2Formerと比較して、MPVSSはCityscapes検証セットでFLOPsを最大4倍削減し、mIoUの低下はわずか2%にとどまった。
• 提案されたクエリベースのフローラーニングは、従来のオプティカルフローを常に上回り、特に長距離の時間的伝搬において顕著な優位性を示した。キーフレーム間隔10の条件下では、mIoUの低下が1.1%にとどまる一方、オプティカルフローでは2.63%の低下を示した。
• ランダム初期化と比較して、学習済みクエリを用いたフローエstimatationは、Swin-TとSwin-Bの両方でmIoUを1.1%および1.5%向上させた。
• Query-for-PFバージョンは、オプティカルフローと比較して、それぞれ0.1%および0.2%の性能向上を示し、フローラーニングにおけるセグメントレベル情報の有効性を裏付けた。
• 定性的な結果から、MPVSSは1フレームベースラインやオプティカルフローに基づく手法と比較して、より優れたカテゴリの一貫性を維持し、小さな移動物体の追跡もより正確に実現していることが明らかになった。

Figure 2 : Overall architecture of the proposed MPVSS.