[論文レビュー] 1st Place Solution for YouTubeVOS Challenge 2021:Video Instance Segmentation

Nguyễn Thúy Chinh, Tuan N. Tang+4 more|arXiv (Cornell University)|Jun 11, 2021

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

この論文はYouTube-VIS 2021チャレンジの1位ソリューションを提示し、時間的相関のあるインスタンスセグメンテーション（TCIS）、複数ソースデータ（MSD）トレーニング、および双方向トラッキング（BiTrack）を活用する統合型ビデオインスタンスセグメンテーションモデルを導入する。この手法は、フレームの重複を軽減し、オブジェクトの再現率を向上させる。公開検証セットでは0.575 mAP、非公開テストセットでは0.541 mAPを達成し、YouTube-VIS 2019および2021ベンチマークの両方で新たな記録を樹立した。

ABSTRACT

Video Instance Segmentation (VIS) is a multi-task problem performing detection, segmentation, and tracking simultaneously. Extended from image set applications, video data additionally induces the temporal information, which, if handled appropriately, is very useful to identify and predict object motions. In this work, we design a unified model to mutually learn these tasks. Specifically, we propose two modules, named Temporally Correlated Instance Segmentation (TCIS) and Bidirectional Tracking (BiTrack), to take the benefit of the temporal correlation between the object's instance masks across adjacent frames. On the other hand, video data is often redundant due to the frame's overlap. Our analysis shows that this problem is particularly severe for the YoutubeVOS-VIS2021 data. Therefore, we propose a Multi-Source Data (MSD) training mechanism to compensate for the data deficiency. By combining these techniques with a bag of tricks, the network performance is significantly boosted compared to the baseline, and outperforms other methods by a considerable margin on the YoutubeVOS-VIS 2019 and 2021 datasets.

研究の動機と目的

• YouTube-VIS 2021のようなビデオインスタンスセグメンテーションデータセットにおける高いフレーム重複と低いデータ効率の課題に対処すること。
• 統合モデルを通じて検出、セグメンテーション、トラッキングを統合的に学習することで、ビデオインスタンスセグメンテーションのパフォーマンスを向上させること。
• データの多様性を高める新しい複数ソースデータ（MSD）トレーニング機構を用いて、モデルの一般化能力とロバストネスを向上させること。
• ビデオを前向きおよび後向きに処理することで、見逃されたオブジェクトを回復する双方向トラッキング（BiTrack）を導入し、トラッキングの正確性と再現率を向上させること。
• アーキテクチャの革新と実践的なトレーニングテクニックの組み合わせにより、YouTube-VIS 2019および2021ベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• 時間的相関のあるインスタンスセグメンテーション（TCIS）を提案。このモジュールは、隣接フレーム間のインスタンスマスクの時間的依存関係を明示的にモデル化し、一貫性と正確性を向上させる。
• 複数ソースデータ（MSD）を導入。複数のデータソース（異なるビデオセグメントやフレームサンプリング戦略）を組み合わせることで、データの多様性を高め、冗長フレームへの過学習を軽減するトレーニング機構である。
• 双方向トラッキング（BiTrack）を採用。トラッキングを前向きおよび後向きに実行し、結果を統合することで、より完全なオブジェクト軌道を回復する後処理ステップである。
• 6レベルの特徴フュージョンネットワーク（FPN）に加え、追加のP7特徴レベルを備えたマスクR-CNNベースのバックボーンを用いることで、マルチスケール特徴表現を向上させる。
• 検出、セグメンテーション、トラッキングの共有特徴を用いたマルチタスク学習フレームワークを採用。マスクスコアリングおよびセマンティックセグメンテーションの補助ヘッドも含む。
• バリデーションセットにおけるアンサンブル学習および偽ラベル化を実施し、特に非公開テストセットでのパフォーマンスをさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 隣接フレーム間の時間的相関をどのように効果的に活用することで、ビデオインスタンスセグメンテーションのパフォーマンスを向上させられるか？
• RQ2 YouTube-VIS 2021におけるフレームの重複がモデルのパフォーマンスに及ぼす影響はどの程度で、データ効率をどのように改善できるか？
• RQ3 双方向トラッキングは、ビデオインスタンスセグメンテーションにおけるオブジェクト再現率と軌道の完全性を向上させることができるか？
• RQ4 TCISやMSDといったアーキテクチャ的要素は、低データまたは冗長データ環境下での一般化能力とロバストネスにどのように寄与するか？
• RQ5 トレーニングテクニックとモデルアンサンブルのどの組み合わせが、YouTube-VIS 2021および2019ベンチマークで最高のパフォーマンスをもたらすか？

主な発見

• 提案手法は、YouTube-VIS 2021の公開検証セットで0.575 mAPを達成し、1位の順位を確保し、新たな最先端のベンチマークを樹立した。
• 非公開テストセットでは0.541 mAPを達成し、バリデーションセットを越えた強力な一般化能力とロバストネスを示した。
• YouTube-VIS 2019ベンチマークでは0.543 mAPを達成し、以前の最先端手法（MaskProp）をmAPで11.0%も上回った。
• アブレーションスタディの結果、TCIS、MSD、BiTrackはそれぞれ2%以上のmAP向上を寄与しており、組み合わせによる効果でベースライン比約8%のmAP向上が確認された。
• バックボーンを拡大（ResNeSt101、Swin-S）、偽ラベル化、モデルアンサンブルを含む「Bag of Tricks」は、標準バックボーン比でmAPが15%以上向上し、実践的なトレーニング戦略の重要性を示した。
• 可視化結果から、モデルがフレーム間で一貫性のあるインスタンスマスクと色分けされたIDを用いて、オブジェクトを正確に検出・セグメンテーション・トラッキングしていることが確認された。