[論文レビュー] Super-Trajectory for Video Segmentation

Wenguan Wang, Jianbing Shen+2 more|arXiv (Cornell University)|Feb 28, 2017

Video Surveillance and Tracking Methods参考文献 39被引用数 12

ひとこと要約

本論文では、密度ピークスクラスタリングの変更版を用いて、コンパクトで運動的一致性を持つ軌跡を空間的・時間的に一貫性のあるスーパートラジェクトリにグループ化する、半教師あり動画セグメンテーション手法であるSuper-Trajectory (STV) を提案する。長期間の運動をモデル化し、逆追跡とオブジェクト再出現を活用することで、DAVISデータセットで平均IoU 0.736を達成し、遮蔽、変形、外観変化の処理において、先行手法を上回る最先端の性能を発揮する。

ABSTRACT

We introduce a novel semi-supervised video segmentation approach based on an efficient video representation, called as "super-trajectory". Each super-trajectory corresponds to a group of compact trajectories that exhibit consistent motion patterns, similar appearance and close spatiotemporal relationships. We generate trajectories using a probabilistic model, which handles occlusions and drifts in a robust and natural way. To reliably group trajectories, we adopt a modified version of the density peaks based clustering algorithm that allows capturing rich spatiotemporal relations among trajectories in the clustering process. The presented video representation is discriminative enough to accurately propagate the initial annotations in the first frame onto the remaining video frames. Extensive experimental analysis on challenging benchmarks demonstrate our method is capable of distinguishing the target objects from complex backgrounds and even reidentifying them after long-term occlusions.

研究の動機と目的

• 遮蔽、運動ブラー、外観変化などの複雑な条件下でも正確な動画オブジェクトセグメンテーションを実現すること。
• フレーム間での長期間の運動、空間的近接性、外観の一貫性を捉える、頑健な動画表現の構築。
• 軌跡を高レベルの時空間ユニットにグループ化することで、半教師あり動画セグメンテーションにおけるラベル伝搬の改善。
• 確率的軌跡生成モデルと逆追跡戦略を用いて、ドリフトおよび遮蔽への感受性の低減。
• DAVISやSegTrack-V2などのベンチマークデータセットにおいて、既存の最先端手法を上回ること。

提案手法

• 位置の時間的遷移をモデル化することで、遮蔽やドリフトを自然に扱えるマルコフ連鎖確率的モデルを用いて軌跡を生成する。
• 局所的な密度と距離に基づいて軌跡をグループ化する、修正された密度ピークスクラスタリング（DPC）アルゴリズムを用い、頑健で直感的なスーパートラジェクトリの形成を実現する。
• スーパートラジェクトリは、一貫した運動、類似した外観、および近い空間的・時間的近接性を持つ軌跡のグループとして定義される。
• フレーム外からの点を除外するために逆追跡を適用し、カメラの動きによる干渉を低減する。
• 遮蔽後のターゲットの再識別を高めるために、オブジェクト再出現パターンを活用し、長期間の追跡の頑健性を向上させる。
• セグメンテーションはスーパートラジェクトリレベルで実行され、初回フレームからの初期アノテーションを時空間的一致性を用いて伝搬する。

Figure 1: Our video segmentation method takes the first frame annotation as initialization (left). Leveraging on super-trajectories, the segmentation process achieves superior results even for challenging scenarios including heavy occlusions, complex appearance variations, and large shape deformatio

実験結果

リサーチクエスチョン

• RQ1 運動的一致性があり、空間的に近接する点をグループ化する軌跡ベースの動画表現は、遮蔽や変形下でもセグメンテーションの頑健性を向上させることができるか？
• RQ2 古典的なクラスタリング手法と比較して、修正された密度ピークスクラスタリングアルゴリズムは、動画セグメンテーションのための意味のあるスーパートラジェクトリを形成する上でどのように優れているか？
• RQ3 確率的軌跡モデリングは、ドリフトを低減し、長期間の動画セグメンテーションにおける頑健性をどの程度向上させられるか？
• RQ4 逆追跡と再出現解析は、完全な遮蔽後にセグメンテーション対象をどの程度効果的に回復させられるか？
• RQ5 複雑な動画シーケンスにおいて、スーパートラジェクトリレベルでのセグメンテーションは、ピクセルレベルやパッチレベルの伝搬を上回る効果を示すか？

主な発見

• 提案されたSTV手法は、DAVIS 2016ベンチマークで平均交差率（IoU）0.736を達成し、比較されたすべての最先端手法を上回った。
• SegTrack-V2データセットでは、STVはIoU 0.781を達成し、2番目に優れた手法（JOT）の0.718を顕著に上回った。
• アブレーションスタディの結果、提案された軌跡生成手法は0.736のIoUを達成し、LTM（0.718）とDAD（0.654）を上回り、優位性が裏付けられた。
• パラメータ解析の結果、最適な性能は空間グリッド数K=1200および近隣数N=8で得られ、それ以上の値では性能が頭打ちになることがわかった。
• 定性的な結果では、高速な動き（例：ブレイクダンス・フレア）、大きな変形（ドッグアジャイルティ）、長時間の遮蔽（リビィ）といった困難な状況でも正確なセグメンテーションが実現された。
• 本手法は、空間的・時間的再出現パターンを活用することで、遮蔽後のオブジェクトの再識別を効果的に行い、長期間の追跡安定性を向上させた。

Figure 2: Illustration of initial super-trajectory generation. (a) The arrows indicate trajectories and the dots indicate the initial location of trajectory. (b) We roughly divide all the trajectories into $K$ groups with a given number of spatial grids $K=4$ .