[論文レビュー] Tracking Instances as Queries

Shusheng Yang, Y.K. Fang+5 more|arXiv (Cornell University)|Jun 22, 2021

Advanced Neural Network Applications参考文献 23被引用数 6

ひとこと要約

この論文は、追跡されたインスタンスを学習可能なクエリとして扱い、クエリとインスタンスの1対1対応を活用して頑健な時間的関連付けを実現する、統合的でエンドツーエンドのクエリベースの動画インスタンスセグメンテーションフレームワーク、QueryTrackを提案する。単一のオンラインモデル、単一スケールの推論、わずかな学習データを用いて、YouTube-VIS-2021で52.7% APを達成し、CVPR 2021のコンテストで2位を獲得した。

ABSTRACT

Recently, query based deep networks catch lots of attention owing to their end-to-end pipeline and competitive results on several fundamental computer vision tasks, such as object detection, semantic segmentation, and instance segmentation. However, how to establish a query based video instance segmentation (VIS) framework with elegant architecture and strong performance remains to be settled. In this paper, we present extbf{QueryTrack} (i.e., tracking instances as queries), a unified query based VIS framework fully leveraging the intrinsic one-to-one correspondence between instances and queries in QueryInst. The proposed method obtains 52.7 / 52.3 AP on YouTube-VIS-2019 / 2021 datasets, which wins the 2-nd place in the YouTube-VIS Challenge at CVPR 2021 extbf{with a single online end-to-end model, single scale testing \& modest amount of training data}. We also provide QueryTrack-ResNet-50 baseline results on YouTube-VIS-2021 val set as references for the VIS community.

研究の動機と目的

• 時間的インスタンス関連付けにヒューリスティックで微分不可能な後処理に依存する従来の動画インスタンスセグメンテーション（VIS）手法の限界を解消すること。
• QueryInstと同様に、インスタンスとクエリの内在的な1対1対応を活用する統合的でエンドツーエンドのクエリベースのVISフレームワークを確立すること。
• 時間的インスタンスマッチングにおけるハイパーパrameter依存性や手作業で設計された演算子の依存性を減らすために、専用のトラッキングヘッドを導入すること。
• より信頼性の高いYouTube-VIS-2021ベンチマークを用いて、将来のVIS研究の強力で再現可能なベースラインを提供すること。
• 制限された学習データと単一スケールの推論下でも、シンプルで洗練されたアーキテクチャで最先端の性能を示すこと。

提案手法

• QueryTrackはQueryInstに基づいており、ネットワークの各段階でオブジェクトクエリと検出インスタンスの1対1マッピングを維持するクエリベースのインスタンスセグメンテーションバックボーンを採用する。
• 時間的インスタンス関連付けにクエリ表現を活用する新しいトラッキングヘッドを導入し、ヒューリスティックなマッチングを置き換える微分可能でクエリ駆動のトラッキングを実現する。
• トラッキングヘッドは前フレームのクエリ特徴を用いて、現在のフレームにおける各インスタンスの位置とマスクを予測し、エンドツーエンド最適化を可能にする。
• 特徴ピラミッド（FPN）とダイナミックコンボリューションモジュールを用いてクエリ特徴を精緻化し、検出およびセグメンテーションの正確性を向上させる。
• 推論時には、1フレームあたり上位10個のスコアが高いクエリのみを保持し、限られたインスタンス数の実世界動画に対しても効率的でスケーラブルであることを保証する。
• 学習には標準的なデータオーグメンテーション（ランダムフリップ、マルチスケール入力、ランダムクロップ）を用い、コサイン減衰の学習率スケジュールと、推論用に固定されたクエリ数（100）を採用する。

実験結果

リサーチクエスチョン

• RQ1 学習可能なクエリを用いて直接インスタンストラッキングをモデル化することで、クエリベースのフレームワークがエンドツーエンドの動画インスタンスセグメンテーションを達成できるか？
• RQ2 クエリとインスタンスの1対1対応を活用することで、時間的関連付けの頑健性が向上し、ハイパーパrameterへの感受性が低下するか？
• RQ3 クエリベースのトラッキング機構を用いて、最小限の学習データ設定と単一スケールの推論でどの程度の性能向上が達成できるか？
• RQ4 より信頼性の高いYouTube-VIS-2021ベンチマークにおいて、提案手法は最先端のVISモデルと比較してどうなるか？
• RQ5 QueryTrackは、将来の動画インスタンスセグメンテーション研究の強力で再現可能なベースラインとして機能できるか？

主な発見

• QueryTrackはYouTube-VIS-2021のテストセットで52.7% APを達成し、単一のオンラインエンドツーエンドモデルでCVPR 2021コンテストで2位を獲得した。
• YouTube-VIS-2021のバリデーションセットでは、ResNet-50バックボーンを用いたQueryTrackが38.8% AP、62.0% AP50、42.3% AP75を達成し、強力なベースラインを確立した。
• Swin-Lバックボーンを用いた場合、MaskTrack R-CNN、SipMask-VIS、CrossVIS、IFCなどの最先端モデルを上回り、48.8% APを達成した。また、ResNeXt-101-DCNを用いた場合、52.7% APを達成した。
• 提案されたトラッキングヘッドは、従来のヒューリスティックな関連付け手法と比較して、ハイパーパrameterの数を顕著に削減し、学習の安定性と一般化性能を向上させた。
• 結果から、クエリベースのトラッキングは、わずかな学習データと単一スケールの推論でも非常に効果的であることが示された。Open Imagesのような大規模データに依存する手法よりも優れた性能を発揮した。
• 著者らは、2019年版と比較して分散が小さく、再現性が向上したため、YouTube-VIS-2021ベンチマークの使用を提唱している。