[論文レビュー] SG-Net: Spatial Granularity Network for One-Stage Video Instance Segmentation

Dongfang Liu, Yiming Cui+2 more|arXiv (Cornell University)|Mar 18, 2021

Advanced Neural Network Applications参考文献 46被引用数 13

ひとこと要約

SG-Netは、検出されたインスタンスを空間的粒度で動的に部分に分割することでマスク品質と推論効率を向上させる1段階型の動画インスタンスセグメンテーションフレームワークを提案する。提案不要のエンドツーエンドアーキテクチャを採用し、検出、セグメンテーション、トラッキングの共同最適化を実現している。YouTube-VISにおいて、2段階手法と比較して精度と速度の両面で最先端の性能を達成している。

ABSTRACT

Video instance segmentation (VIS) is a new and critical task in computer vision. To date, top-performing VIS methods extend the two-stage Mask R-CNN by adding a tracking branch, leaving plenty of room for improvement. In contrast, we approach the VIS task from a new perspective and propose a one-stage spatial granularity network (SG-Net). Compared to the conventional two-stage methods, SG-Net demonstrates four advantages: 1) Our method has a one-stage compact architecture and each task head (detection, segmentation, and tracking) is crafted interdependently so they can effectively share features and enjoy the joint optimization; 2) Our mask prediction is dynamically performed on the sub-regions of each detected instance, leading to high-quality masks of fine granularity; 3) Each of our task predictions avoids using expensive proposal-based RoI features, resulting in much reduced runtime complexity per instance; 4) Our tracking head models objects centerness movements for tracking, which effectively enhances the tracking robustness to different object appearances. In evaluation, we present state-of-the-art comparisons on the YouTube-VIS dataset. Extensive experiments demonstrate that our compact one-stage method can achieve improved performance in both accuracy and inference speed. We hope our SG-Net could serve as a strong and flexible baseline for the VIS task. Our code will be available.

研究の動機と目的

• 2段階型動画インスタンスセグメンテーション手法の限界、例えば余分なプロポーザル生成や低解像度のマスク特徴を是正すること。
• 均一なRoIベースの予測ではなく、動的な部分領域セグメンテーションを可能にすることでマスク品質を向上させること。
• プロポーザルに基づくRoI処理を排除し、予測数依存性を低減することで推論効率を向上させること。
• 検出ヘッドに自然に統合されたセンターベースの運動モデリングにより、外観変化やオブジェクトの重なりに対して強いトラッキングを強化すること。

提案手法

• SG-Netは、FCOSにインspiredされた1段階型、完全畳み込み型バックボーンを用い、領域プロポーザルネットワークを排除して、検出、セグメンテーション、トラッキングヘッドを共同最適化する。
• 空間的粒度に基づき、各検出されたバウンディングボックスを部分に動的に分割（最大6×6グリッド）し、各部分に対して高解像度のマスク予測を可能にする。
• マスクヘッドは、入力解像度の半分（要因=4）にアップサンプリングされた特徴マップを用いて、インスタンスに依存する動的予測を各部分で実行し、境界の詳細を保持する。
• 新規のトラッキングヘッドは、検出から得られるオブジェクトのセンターベースの情報を活用して時系列的運動をモデリングし、外観変化やオブジェクトの重なりに強い性能を発揮する。
• 検出、セグメンテーション、トラッキングヘッド間でインスタンスに依存する接続を導入することで、特徴の共有を強化し、エンドツーエンドの共同最適化を実現する。
• ベースマスクはFPN特徴（P3–P5）から生成され、アブレーション実験ではP3–P5が精度と速度のトレードオフにおいて最良の結果を示している。

実験結果

リサーチクエスチョン

• RQ1 1段階型、プロポーザル不要なアーキテクチャは、2段階手法と比較して動画インスタンスセグメンテーションにおいてより高い精度と速度を達成できるか？
• RQ2 動的な部分領域セグメンテーションは、均一なRoIベースまたは固定グリッド手法と比較して、マスク品質をどのように向上させるか？
• RQ3 センターベースのトラッキングは、オブジェクトの重なりや外観変化といった困難な状況下で、どの程度性能を向上させるか？
• RQ4 空間的粒度セグメンテーションにおける部分領域分割数と推論効率の最適なトレードオフは何か？
• RQ5 特徴の解像度と位置は、セグメンテーションヘッドにおけるベースマスク生成の性能にどのように影響するか？

主な発見

• SG-NetはYouTube-VIS 2019で36.3%のAPを達成し、MaskTrack R-CNNや他の2段階ベースラインを上回り、推論速度も速い。
• 部分領域分割数を2×から6×に増加させることでAPが34.0%から36.3%に向上したが、さらに8×に増加させてもわずかな向上（36.4%）に留まり、速度への影響が顕著に増加した。
• ベースマスク特徴を入力解像度の1/2（要因=4）にアップサンプリングすることで、APが1.4%（34.9%から36.3%）上昇し、AP@0.75も1.5%上昇（38.1%から39.6%）した。
• ベースマスク生成により深いFPN特徴（P3–P5）を用いることで、APは36.3%、AP@0.75は39.6%に上昇した（P3のみ使用時では35.0%と37.0%）。
• SG-Netの推論時間は予測数の増加に伴い僅かに増加するが、2段階手法とは異なり、プロポーザル数に比例してランタイムが増加しない。
• COCO画像ベンチマークにおいて、同じバックボーン設定下でSipMaskやCondInstと比較して、それぞれ1.3–1.8%、0.8–1.3%のマージンで優れた精度を達成した。