[論文レビュー] BoLTVOS: Box-Level Tracking for Video Object Segmentation

Paul Voigtlaender, Jonathon Luiten+1 more|arXiv (Cornell University)|Apr 9, 2019

Visual Attention and Saliency Detection参考文献 51被引用数 14

ひとこと要約

BoLTVOSは、最初のフレームのバウンディングボックスのみを入力として用い、2段階の動的物体セグメンテーションフレームワークを提案する。最初の段階では、時系列的一致性の再スコアリングを施した条件付きR-CNNを用いてオブジェクトをバウンディングボックスで追跡し、2番目の段階ではBox2Segを用いてセグメンテーションマスクを生成する。本手法は、最初のフレームのマスク微調整を必要とせず、DAVIS 2017およびYouTube-VOSで最先端の性能を達成しており、同分類のすべての先行手法を上回り、前回の最良手法PReMVOSと比較して最大45倍高速に動作する。

ABSTRACT

We approach video object segmentation (VOS) by splitting the task into two sub-tasks: bounding box level tracking, followed by bounding box segmentation. Following this paradigm, we present BoLTVOS (Box-Level Tracking for VOS), which consists of an R-CNN detector conditioned on the first-frame bounding box to detect the object of interest, a temporal consistency rescoring algorithm, and a Box2Seg network that converts bounding boxes to segmentation masks. BoLTVOS performs VOS using only the firstframe bounding box without the mask. We evaluate our approach on DAVIS 2017 and YouTube-VOS, and show that it outperforms all methods that do not perform first-frame fine-tuning. We further present BoLTVOS-ft, which learns to segment the object in question using the first-frame mask while it is being tracked, without increasing the runtime. BoLTVOS-ft outperforms PReMVOS, the previously best performing VOS method on DAVIS 2016 and YouTube-VOS, while running up to 45 times faster. Our bounding box tracker also outperforms all previous short-term and longterm trackers on the bounding box level tracking datasets OTB 2015 and LTB35. A newer version of this work can be found at arXiv:1911.12836.

研究の動機と目的

• 最小限の人為的アノテーションで半教師あり動的物体セグメンテーション（VOS）の課題に取り組むこと、具体的には最初のフレームのマスクアノテーションの時間を短縮することを目的とする。
• 最初のフレームのバウンディングボックスのみを用いるVOS手法の第三のカテゴリにおける性能を向上させること、具体的にはボックスレベルの追跡とセグメンテーションの両方を強化することを目的とする。
• マスク微調整に基づくアプローチと比較して、推論時間を大幅に短縮しつつも高い精度を維持する手法を開発することを目的とする。
• 短時間および長時間の視覚的オブジェクト追跡の両方で最先端の結果を達成し、オブジェクトの部分的遮蔽や再出現に対しても頑健であることを示すこと。

提案手法

• 最初のフレームのバウンディングボックスを条件として用いる条件付きR-CNN検出器を用い、以降のフレームにおいて関心オブジェクトを検出する。
• トラックレットベースの動的計画法をモデル化し、不要なオブジェクトを処理することで、検出の信頼性を向上させる時系列的一致性の再スコアリングアルゴリズムを導入する。
• テンプレート特徴量と領域提案特徴量を連結することで類似度を予測する新しい条件付き第二段階を備えた2段階R-CNNアーキテクチャを採用する。
• 予測されたバウンディングボックスからセグメンテーションマスクを生成するためにBox2Segネットワークを活用し、セグメンテーションを後処理として扱う。
• 追跡と並行して最初のフレームのマスク微調整を実行するBoLTVOS-ftという変種を導入し、実行時間の増加を伴わせずに実現する。
• 局所的な探索窓ではなく、画像全体のグローバル特徴比較を活用することで、オブジェクトの消失からの回復と再検出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 動的物体セグメンテーションをボックスレベルの追跡とバウンディングボックスセグメンテーションに明確に分離することで、性能と効率の向上が達成できるか？
• RQ2 グローバル特徴比較と時系列的一致性の再スコアリングを備えた条件付きR-CNNは、長期間追跡のシナリオにおいて、既存の追跡手法を上回る性能を示せるか？
• RQ3 特徴量の連結を用いた2段階の追跡アプローチは、遮蔽や追跡のずれに対してより頑健になるか？
• RQ4 最初のフレームのマスクではなくバウンディングボックスのみを用いる手法が、マスクを用いる手法と同等またはそれ以上の性能を達成でき、かつはるかに高速に動作できるか？
• RQ5 最初のフレームのマスクに対するエンドツーエンドの微調整を追跡パイプラインに統合できるか、かつ推論時間に影響を与えないか？

主な発見

• BoLTVOSは、LTB35長期間追跡ベンチマークで66.2%というFスコアの新記録を樹立し、前回の最良手法（MBMD）を3.3ポイント上回った。
• OTB2015ではAUCスコア69.7%を達成し、前回の最良手法（SiamRPN++）の69.6%をわずかに上回った。
• DAVIS 2017およびYouTube-VOSでは、最初のフレームのマスク微調整を行わないすべての手法を上回り、一部のマスク微調整を用いる手法と同等またはそれを上回った。
• BoLTVOS-ftは、PReMVOSと比較してDAVIS 2016およびYouTube-VOSで優れた性能を示し、最大45倍高速に動作した。
• 時系列的一致性の再スコアリングアルゴリズムにより、LTB35の最大Fスコアが3.3ポイント上昇（63.4%から66.2%）し、長期間追跡の課題への有効性が示された。
• LTB35およびOTB2015の両方で1.43フレーム／秒の実行速度を達成し、高い精度を維持しながらも、強力な効率性を示した。