[論文レビュー] Hybrid Instance-aware Temporal Fusion for Online Video Instance Segmentation

Xiang Li, Jinglu Wang+2 more|arXiv (Cornell University)|Dec 2, 2021

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

本論文は、ハイブリッドなインスタンス認識時間融合を用いた、ボックスフリー、検出フリー、マッチングフリーなオンライン動画インスタンスセグメンテーションフレームワークを提案する。グローバルなインスタンスコードとCNN特徴マップを、フレーム間でクロスアテンション機構を用いて統合することで、YouTube-VIS 2019で41.3 mAP、YouTube-VIS 2021で35.8 mAPの最先端性能を達成し、従来のオンライン手法および多くのオフライン手法を上回る。

ABSTRACT

Recently, transformer-based image segmentation methods have achieved notable success against previous solutions. While for video domains, how to effectively model temporal context with the attention of object instances across frames remains an open problem. In this paper, we propose an online video instance segmentation framework with a novel instance-aware temporal fusion method. We first leverages the representation, i.e., a latent code in the global context (instance code) and CNN feature maps to represent instance- and pixel-level features. Based on this representation, we introduce a cropping-free temporal fusion approach to model the temporal consistency between video frames. Specifically, we encode global instance-specific information in the instance code and build up inter-frame contextual fusion with hybrid attentions between the instance codes and CNN feature maps. Inter-frame consistency between the instance codes are further enforced with order constraints. By leveraging the learned hybrid temporal consistency, we are able to directly retrieve and maintain instance identities across frames, eliminating the complicated frame-wise instance matching in prior methods. Extensive experiments have been conducted on popular VIS datasets, i.e. Youtube-VIS-19/21. Our model achieves the best performance among all online VIS methods. Notably, our model also eclipses all offline methods when using the ResNet-50 backbone.

研究の動機と目的

• オブジェクト検出やフレーム単位のインスタンスマッチングに依存せずに、オンライン動画インスタンスセグメンテーションにおける時間的整合性をモデル化する課題に対処すること。
• 統一されたアテンション機構を用いてピクセルレベルとインスタンスレベルの表現を統合することで、フレーム間の特徴通信を向上させること。
• 学習されたインスタンスコードを用いて直接的にフレーム間でのインスタンスIDを関連付けることで、複雑なマッチングモジュールを排除すること。
• 軽量でエンドツーエンドのオンラインフレームワークとして、YouTube-VIS 2019および2021ベンチマークで最先端の性能を達成すること。

提案手法

• ピクセルレベルとインスタンスレベルの特徴を同時に符号化するため、CNN特徴マップとグローバルインスタンスコードを組み合わせたハイブリッド表現を採用する。
• インスタンスコードと特徴マップの間でフレーム間クロスアテンションを導入し、ピクセルレベルおよびインスタンスレベルの両方で時間的整合性をモデル化する。
• トレーニング中にインスタンスコードの順序とIDの保存を保証するために、フレーム間でインスタンスコードに整合性制約を課す。
• 特徴のクロッピングを回避し、時間的通信中にグローバルなコンテキストを維持する、クロッピングフリーな時間的統合メカニズムを設計する。
• リファレンスフレームをキーエンコーダー、ターゲットフレームをクエリデコーダーとして使用する二重ブランチトランスフォーマー構造を採用し、効率的な時間的モデリングを実現する。
• インスタンスコード内のスロットインデックスを活用して、フレーム間で直接的にインスタンスIDを関連付けることで、後処理のマッチングを不要にする。

実験結果

リサーチクエスチョン

• RQ1 ボックスフリーかつ検出フリーなアプローチは、オンライン動画インスタンスセグメンテーションにおいて優れた時間的整合性を達成できるか？
• RQ2 クロッピングを伴わない状況下で、ピクセルレベルとインスタンスレベルのハイブリッドアテンションは、フレーム間特徴統合にどの程度有効か？
• RQ3 インスタンスコードのみで、フレーム間で安定したID関連付けを維持でき、マッチングモジュールへの依存を低減できるか？
• RQ4 インスタンスコードの整合性をモデル化することで、長時間の動画シーケンスにおいて、セグメンテーションの精度とロバスト性がどの程度向上するか？

主な発見

• 提案手法はYouTube-VIS 2019で41.3 mAPを達成し、すべての従来のオンライン手法を上回り、同じResNet-50バックボーンを用いた多くのオフライン手法をも凌駆する。
• YouTube-VIS 2021では35.8 mAPを達成し、すべての既存手法の中で最高の結果を示し、新しいベンチマークへの強力な一般化能力を示している。
• アブレーションスタディの結果、すべてのフレーム間アテンションを無効化するとmAPが36.9に低下し、アテンションベースの時間的統合の重要性が裏付けられた。
• リファレンスフレームを1つから4つに増やすことで性能が段階的に向上し、4つのリファレンスで41.3 mAPに到達した。これは時間的コンテキストに強い依存性があることを示している。
• 2つの交互に配置されたトランスフォーマーレイヤーを用いることで最良の性能が得られ、浅い時間的統合ネットワークが十分に効果的であることが示された。
• インスタンスコードに余分なスロットが存在しても性能が安定しており、実際のインスタンス数を上回るスロット数であっても性能に顕著な低下が見られなかった。