[論文レビュー] Spatial Feature Calibration and Temporal Fusion for Effective One-stage Video Instance Segmentation

Minghan Li, Shuai Li+2 more|arXiv (Cornell University)|Apr 6, 2021

Advanced Image Processing Techniques参考文献 27被引用数 7

ひとこと要約

本論文では、回帰されたバウンディングボックス特徴抽出による空間的特徴補正と、時間的統合モジュールによる時間的整合性の向上を通じて、空間的特徴補正を強化する one-stage ビデオインスタンスセグメンテーションフレームワーク STMask を提案する。真値バウンディングボックスに特徴を補正し、隣接フレームの情報を活用することで、STMask は ResNet-50 を用いて 33.5% のマスク AP を達成し、ResNet-101 を用いては 36.8% を達成するが、28.6 FPS のリアルタイム推論を維持する。

ABSTRACT

Modern one-stage video instance segmentation networks suffer from two limitations. First, convolutional features are neither aligned with anchor boxes nor with ground-truth bounding boxes, reducing the mask sensitivity to spatial location. Second, a video is directly divided into individual frames for frame-level instance segmentation, ignoring the temporal correlation between adjacent frames. To address these issues, we propose a simple yet effective one-stage video instance segmentation framework by spatial calibration and temporal fusion, namely STMask. To ensure spatial feature calibration with ground-truth bounding boxes, we first predict regressed bounding boxes around ground-truth bounding boxes, and extract features from them for frame-level instance segmentation. To further explore temporal correlation among video frames, we aggregate a temporal fusion module to infer instance masks from each frame to its adjacent frames, which helps our framework to handle challenging videos such as motion blur, partial occlusion and unusual object-to-camera poses. Experiments on the YouTube-VIS valid set show that the proposed STMask with ResNet-50/-101 backbone obtains 33.5 % / 36.8 % mask AP, while achieving 28.6 / 23.4 FPS on video instance segmentation. The code is released online https://github.com/MinghanLi/STMask.

研究の動機と目的

• one-stage ビデオインスタンスセグメンテーションにおいて、特徴が真値バウンディングボックスと一致しないという空間的特徴補正の欠如に対処すること。
• フレーム単位のセグメンテーションにおける時間的相関の損失を、フレーム間依存性を組み込むことで軽減すること。
• 動きぼけ、隠蔽、または異常なポーズを伴う困難な動画においても、性能を向上させつつリアルタイム推論速度を維持すること。
• 精度と速度のバランスを取る、シンプルだが効果的な two-stage メソッドの代替となる one-stage の代替案を提供すること。

提案手法

• 空間的局在化を向上させるために、回帰ブランチを用いて真値ボックスの周囲に回帰されたバウンディングボックスを予測する。
• 適応的（1×1 畳み込み）または整合的（数学的導出）な戦略を用いて、これらの回帰ボックスから特徴を抽出することで、より良い特徴表現を得る。
• 隣接フレーム間のマスク予測を推論する時間的統合モジュールを導入し、トラッキングのロバスト性を向上させる。
• 補正済み特徴を用いた完全畳み込み one-stage ネットワークを用い、エンドツーエンドのビデオインスタンスセグメンテーションを実現する。
• アノテーションレベルでの特徴補正を実現するため、空間的位置ごとに複数の畳み込みカーネルを設計し、位置に特化した特徴を生成する。
• 時間的統合モジュールを統合し、フレーム間でマスク予測を伝搬させることで、動きぼけや隠蔽状況での一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 回帰されたバウンディングボックスによる空間的特徴補正は、one-stage ビデオインスタンスセグメンテーションにおけるマスク AP を向上させることができるか？
• RQ2 隣接フレーム間の時間的統合を組み込むことで、困難な動画シーケンスにおける誤検出の減少が見られるか？
• RQ3 one-stage フレームワークは、リアルタイム推論速度を維持しつつ、競争力のある精度を達成できるか？
• RQ4 適応的 vs. 整合的特徴抽出戦略は、空間的補正においてどのように比較されるか？

主な発見

• ResNet-50 バックボーンを用いた STMask は、YouTube-VIS 開発セットで 33.5% のマスク AP を達成し、先行 one-stage メソッドを上回る性能を示した。
• ResNet-101 バックボーンを用いた場合、STMask は 36.8% のマスク AP を達成し、追加の訓練テクニックなしで強力な性能を示した。
• 時間的統合モジュールを導入することで、ベースライン比で 5.2 パercantage ポints の性能向上が見られ、隠蔽や動きぼけ状況での誤検出が顕著に減少した。
• ResNet-50 を用いた STMask は 28.6 FPS、ResNet-101 を用いた場合は 23.4 FPS で実行され、リアルタイム推論速度を維持した。
• アブレーションスタディの結果、空間的補正と時間的統合の両方が性能向上に顕著に寄与することが確認された。
• 可視化比較では、時間的統合を備えた STMask が、フレーム間の一貫性を低下させず、小さな物体や隠蔽されたインスタンスのマスク品質を向上させた。