[論文レビュー] Online Video Instance Segmentation via Robust Context Fusion

Xiang Li, Jinglu Wang+3 more|arXiv (Cornell University)|Jul 12, 2022

Music and Audio Processing被引用数 4

ひとこと要約

本稿では、オンライン動画インスタンスセグメンテーションのためのロバストなコンテキスト統合（RCF）ネットワークを提案する。重要度に配慮した圧縮とトランスフォーマーに基づく統合を活用し、数フレーム前のコンパクトで関連性の高いコンテキストをリアルタイムのターゲットフレーム予測に効率的に統合する。本手法はYouTube-VIS 2019および2021で最先端の性能を達成し、clipレベルの手法でさえも上回り、制約のない状況下では音声特徴がセグメンテーションをわずかに向上させることを示している。

ABSTRACT

Video instance segmentation (VIS) aims at classifying, segmenting and tracking object instances in video sequences. Recent transformer-based neural networks have demonstrated their powerful capability of modeling spatio-temporal correlations for the VIS task. Relying on video- or clip-level input, they suffer from high latency and computational cost. We propose a robust context fusion network to tackle VIS in an online fashion, which predicts instance segmentation frame-by-frame with a few preceding frames. To acquire the precise and temporal-consistent prediction for each frame efficiently, the key idea is to fuse effective and compact context from reference frames into the target frame. Considering the different effects of reference and target frames on the target prediction, we first summarize contextual features through importance-aware compression. A transformer encoder is adopted to fuse the compressed context. Then, we leverage an order-preserving instance embedding to convey the identity-aware information and correspond the identities to predicted instance masks. We demonstrate that our robust fusion network achieves the best performance among existing online VIS methods and is even better than previously published clip-level methods on the Youtube-VIS 2019 and 2021 benchmarks. In addition, visual objects often have acoustic signatures that are naturally synchronized with them in audio-bearing video recordings. By leveraging the flexibility of our context fusion network on multi-modal data, we further investigate the influence of audios on the video-dense prediction task, which has never been discussed in existing works. We build up an Audio-Visual Instance Segmentation dataset, and demonstrate that acoustic signals in the wild scenarios could benefit the VIS task.

研究の動機と目的

• リアルタイムでフレームごとの推論を可能にすることで、動画インスタンスセグメンテーションにおける高い遅延と計算コストを低減すること。
• 時間的整合性を保ちながら、前の参照フレームからのコンパクトで効果的なコンテキストを統合することで、オンラインVISの性能を向上させること。
• 追加のマッチング処理を不要にすることで、ID追跡のための順序を保つインスタンス埋め込みを学習すること。
• 音声モodalが、特に制約のない現実世界の状況下での動画密度予測タスクにおいて果たす役割を調査すること。
• マルチモーダル統合の研究を目的として、新しい音声・視覚インスタンスセグメンテーションデータセットを構築・評価すること。

提案手法

• 本手法は、参照フレームからの関連特徴を効率的に抽出するために、重要度に配慮した圧縮を採用し、統合前に冗長性やノイズを低減する。
• トランスフォーマーのエンコーダーが、表現力のある自己注意およびクロス注意メカニズムを用いて、圧縮された参照フレーム特徴とターゲットフレーム特徴を統合する。
• トランスフォーマーのデコーダーで固定長のクエリを用いて、順序を保つインスタンスコードを学習し、追加のマッチング処理なしにID追跡を可能にする。
• ネットワークアーキテクチャの性質から、順序保持性が自然に出現するため、インスタンスコードの順序を明示的に監視する必要がない。
• 音声モダリティは、音声トークンを用いて視覚特徴と同様のコンテキスト統合メカニズムで統合される。
• フレームワークは柔軟であり、マルチモーダル入力をサポートしており、密度予測のための視覚・音声の共同推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 少数の参照フレームを効果的に活用することで、ロバストなコンテキスト統合メカニズムがオンライン動画インスタンスセグメンテーションの性能を向上させ得るか？
• RQ2 参照フレーム特徴の重要度に配慮した圧縮は、オンライン推論におけるモデルのロバスト性と効率性を向上させるか？
• RQ3 順序を保つインスタンスコードは、オンラインVISにおける複雑な後処理マッチングの必要性を排除できるか？
• RQ4 現実世界の制約のない動画シナリオにおいて、音声信号はどの程度動画インスタンスセグメンテーションの性能を向上させるか？
• RQ5 野生の制御のない動画環境下で、音声統合による性能向上は統計的に有意であるか？

主な発見

• 提案されたRCFネットワークは、YouTube-VIS 2019で40.8 mAP、YouTube-VIS 2021で43.4 mAPを達成し、既存のすべてのオンラインVIS手法を上回り、かつ以前に発表されたclipレベルの手法でさえも上回っている。
• モデルは冗長なインスタンスクエリに対してロバストであり、実際のインスタンス数よりもはるかに多いクエリ数であっても、強力な性能を維持している。
• インスタンスコードの順序を監視しても性能向上が得られず、順序保持性はネットワークアーキテクチャの性質から自然に出現する。
• トークン統合におけるピクセル単位の重みを無効にした場合、mAPが0.7ポイント向上するため、前景領域に注目する上でその重要性が示された。
• 音声統合により、AVIS検証セット全体で平均して+1.9 mAPのわずかな向上が得られたが、有意差は認められず（p値＞0.05）。
• 音声の利点は、弱く一貫性のない音声・視覚相関や短時間の音声イベントのため、制約のない動画では限定的である。