[論文レビュー] Fast Online Object Tracking and Segmentation: A Unifying Approach

Qiang Wang, Li Zhang+3 more|arXiv (Cornell University)|Dec 12, 2018

Video Surveillance and Tracking Methods参考文献 51被引用数 98

ひとこと要約

SiamMask は完全畳み込み Siamese トラッカーを二値セグメンテーションブランチで拡張し、リアルタイムのオブジェクト追跡と半教師付き動画オブジェクトセグメンテーションを共同で実行します。VOT-2018 で最先端のリアルタイム追跡を達成し、DAVIS-2016/2017 では競争力があり、最速の性能を発揮します。

ABSTRACT

In this paper we illustrate how to perform both visual object tracking and semi-supervised video object segmentation, in real-time, with a single simple approach. Our method, dubbed SiamMask, improves the offline training procedure of popular fully-convolutional Siamese approaches for object tracking by augmenting their loss with a binary segmentation task. Once trained, SiamMask solely relies on a single bounding box initialisation and operates online, producing class-agnostic object segmentation masks and rotated bounding boxes at 55 frames per second. Despite its simplicity, versatility and fast speed, our strategy allows us to establish a new state of the art among real-time trackers on VOT-2018, while at the same time demonstrating competitive performance and the best speed for the semi-supervised video object segmentation task on DAVIS-2016 and DAVIS-2017. The project website is http://www.robots.ox.ac.uk/~qwang/SiamMask.

研究の動機と目的

• オンライン追跡とビデオオブジェクトセグメンテーションのための単純で統一的なアプローチを動機付ける。
• バウンディングボックスに加えてフレームごとの二値マスクを予測してターゲット表現を改善する。
• Siamese トラッカーのオフライン学習性とオンライン速度の特性を維持する。
• テスト時のファインチューニングや大規模なデータ拡張を必要とせず、リアルタイム性能を実証する。

提案手法

• Siamese トラッキングを拡張し、各 RoW（region of interest window）に対して w×h の二値マスクを予測するマスクブランチを追加する。
• 深さ方向のクロス相関を用いて、候補類似度を表す密な多チャネル応答マップを生成する。
• オフラインで三つのタスクヘッドを訓練する：類似度（L_sim）、マスク（L_mask）、バウンディングボックス/スコア（L_box/L_score）ロスを、結合したマルチタスク目的に統合する。
• マスク改良戦略に従い、スキップ接続を用いたマルチ解像度特徴融合でマスクを洗練させる。
• オンライン追跡用の参照ボックス戦略を用いた SiamMask-2B（2枝）と SiamMask（3枝）の2つの推論バリアントを提供する。
• マスクを軸に対して正 axis-aligned または回転 Bounding Box に変換して、バウンディングボックス出力を評価する（Min-max、MBR、または Opt 戦略）。

実験結果

リサーチクエスチョン

• RQ1 単一のオフライン訓練済み Siamese ネットワークが、テスト時のファインチューニングなしでオンライン追跡とフレームごとのセグメンテーションマスクを生成できるか。
• RQ2 セグメンテーションブランチを追加することで追跡精度が向上し、リアルタイムで高品質なピクセル単位のオブジェクト表現を実現できるか。
• RQ3 マスクベースの表現は、リアルタイムトラッキングのベンチマーク（VOT）と半教師付き VOS のベンチマーク（DAVIS、YouTube-VOS）での性能にどのような影響を及ぼすか。
• RQ4 マスクからボックスを生成する際の Min-max、MBR、Opt の異なる戦略間のトレードオフはどうなるか。

主な発見

• SiamMask は RTX 2080 GPU でテスト時適応を行わずに 55–60 fps のリアルタイム動作を実現する。
• VOT-2018 では、MBR/Opt 表現を用いた SiamMask がリアルタイムトラッカーの中で最先端の性能を達成し、EAO および精度指標で顕著な改善を示す。
• SiamMask は DAVIS-2016/2017 で最近の高速 VOS アプローチと競合し、ファインチューニングに依存しない強力なベースラインの中で最速である。
• 2枝版 SiamMask-2B と 3枝版 SiamMask は、速度と精度のトレードオフを示し、3枝が高い精度を、2枝が推論速度の速さを提供する。
• マスクブランチを利用してボックス生成を通知することで、各ベンチマークでバウンディングボックスベースの指標を改善する。