[論文レビュー] State-Aware Tracker for Real-Time Video Object Segmentation

Xi Chen, Zuoxin Li+4 more|arXiv (Cornell University)|Mar 1, 2020

Video Surveillance and Tracking Methods参考文献 34被引用数 9

ひとこと要約

本稿では、各オブジェクトをトラックレットとしてモデル化し、状態に適応する自己適応のための二重フィードバック機構を用いる、リアルタイムな半教師付きビデオオブジェクトセグメンテーション手法であるState-Aware Tracker (SAT) を提案する。フレーム間の一貫性と動的グローバル特徴モデリングを活用することで、DAVIS2017-Val で 39 FPS で 72.3% の J&F 平均を達成し、優れたスピード・アキュラシーのトレードオフを示した。

ABSTRACT

In this work, we address the task of semi-supervised video object segmentation(VOS) and explore how to make efficient use of video property to tackle the challenge of semi-supervision. We propose a novel pipeline called State-Aware Tracker(SAT), which can produce accurate segmentation results with real-time speed. For higher efficiency, SAT takes advantage of the inter-frame consistency and deals with each target object as a tracklet. For more stable and robust performance over video sequences, SAT gets awareness for each state and makes self-adaptation via two feedback loops. One loop assists SAT in generating more stable tracklets. The other loop helps to construct a more robust and holistic target representation. SAT achieves a promising result of 72.3% J&F mean with 39 FPS on DAVIS2017-Val dataset, which shows a decent trade-off between efficiency and accuracy. Code will be released at github.com/MegviiDetection/video_analyst.

研究の動機と目的

• リアルタイム制約と複雑なビデオダイナミクス下での半教師付きビデオオブジェクトセグメンテーション（VOS）の課題に対処すること。
• 時間的文脈と状態認識を活用することで、遮蔽、高速移動、外観変化に対する耐性を向上させること。
• フレーム間の関係を無視するか、固定された伝搬戦略を採用する既存手法の非効率性を克服すること。
• 実用的導入に適した高精度とリアルタイム推論速度の両立を実現する統合パイプラインを開発すること。
• クロップとグローバル表現モデリングのための適応的フィードバック機構により、長時間シーケンスの安定したトラッキングを実現すること。

提案手法

• 各ターゲットオブジェクトをトラックレットとしてモデル化し、フレーム間の一貫性を活用するとともに、計算負荷を低減する。
• セグメンテーションの信頼性を評価する状態推定モジュールを導入し、適応を導くための状態スコアを割り当てる。
• 現在の状態スコアに応じて、バウンディングボックス予測手法を動的に選択するクロッピング戦略ループを実装する。
• 過去のフレームからの時間的文脈を用いて、包括的なターゲット表現を更新するグローバルモデリングループを設計する。
• サリエンシー・エンコーダ、類似度エンコーダ、および動的グローバル特徴を統合する共同セグメンテーションネットワークでマスク予測を実行する。
• 状態推定からのフィードバックを用いて、リアルタイムに検索領域のクロッピングとグローバル特徴表現を最適化する。

実験結果

リサーチクエスチョン

• RQ1 半教師付きVOSにおけるフレーム間の一貫性を、精度と速度の両面で効率的に活用する方法は何か？
• RQ2 遮蔽、モーションブラー、顕著な外観変化といった困難なビデオ状態下でも、強靭な性能を発揮するメカニズムは何か？
• RQ3 二重フィードバックループシステムは、推論速度を犠牲にすることなく、トラッキングの安定性と表現品質を向上させられるか？
• RQ4 フレーム単位または単一フレームの文脈に比べて、動的グローバル特徴表現は、長時間シーケンスのセグメンテーションの耐性をどの程度向上させられるか？
• RQ5 最先端のVOSアプローチと比較して、提案手法はスピードとアキュラシーのどの程度のトレードオフを達成しているか？

主な発見

• SATは、DAVIS2017-Val データセットで 72.3% の J&F 平均を達成し、スピード・アキュラシーのバランスにおいて、多数の既存手法を上回った。
• DAVIS2017-Val において 39 FPS で動作し、STM（6.25 FPS） や RANet（30 FPS） といった高精度手法に比べて顕著に高速であった。
• YouTube-VOS では 83.1% の J&F 平均を達成し、リアルタイム推論速度を維持しながらも、オフライン手法の中でも上位に位置づけられた。
• アブレーションスタディの結果、クロッピング戦略ループとグローバルモデリングループの両方が、性能向上に顕著な寄与をしていることが確認された。
• AlexNetバックボーンを用いた高速版SAT（Ours-f）は 60 FPS に達し、69.5% の J&F を維持しており、ハードウェア制約に応じたスケーラビリティを示した。
• 定性的な結果から、誤検出要因、遮蔽、モーションブラー、顕著なポーズ変化に対しても強靭であることが確認され、フィードバック機構の有効性が裏付けられた。