[論文レビュー] Part-based Tracking by Sampling

George De Ath, Richard Everson|arXiv (Cornell University)|May 22, 2018

Video Surveillance and Tracking Methods参考文献 64被引用数 5

ひとこと要約

本稿では、疎なサンプルベースの色モデルとセグメンテーション駆動型パッチ配置戦略を用いることで、困難な動画シーケンスにおけるオブジェクト追跡を向上させる、新しいパーツベース視覚追跡フレームワーク「Part-based Tracking by Sampling (PBTS)」を提案する。本手法はVOT2018およびOTB100ベンチマークで最先端性能を達成しており、アブレーションスタディによりパッチ配置機構が性能向上に最も寄与していることが示された。

ABSTRACT

We propose a novel part-based method for tracking an arbitrary object in challenging video sequences. The colour distribution of tracked image patches on the target object are represented by pairs of RGB samples and counts of how many pixels in the patch are similar to them. Patches are placed by segmenting the object in the given bounding box and placing patches in homogeneous regions of the object. These are located in subsequent image frames by applying non-shearing affine transformations to the patches' previous locations, locally optimising the best of these, and evaluating their quality using a modified Bhattacharyya distance. In experiments carried out on VOT2018 and OTB100 benchmarks, the tracker achieves higher performance than all other part-based trackers. An ablation study is used to reveal the effectiveness of each tracking component, with largest performance gains found when using the patch placement scheme.

研究の動機と目的

• 遮蔽、照明変化、運動変形が生じる複雑な動画シーケンスにおける任意のオブジェクトの追跡という課題に対処すること。
• パーツベーストラッカーが背景ピクセルにパッチを配置するという限界を克服し、トラッキングのずれや失敗を防ぐこと。
• 疎でパラメトリックでない色モデリングと効率的な運動推定を用いる、ロバストでモデルフリーな追跡フレームワークを開発すること。
• パッチ配置、モデル表現、局所最適化、モデル更新の各コンポーネントの寄与をアブレーションスタディを通じて評価すること。

提案手法

• 各パッチごとにRGBサンプルとその頻度を用いて、非パラメトリックな色分布モデルを構築する。
• アルファマットとスーパーピクセルセグメンテーションを用いて、初期バウンディングボックス内でのオブジェクト領域を同定し、均一なオブジェクト領域の中心にパッチを配置する。
• 非ねじれアフィン変換を用いて、次のフレームにおけるパッチ位置を予測し、修正されたバタチャリ距離を用いた局所最適化を実行する。
• 追跡のずれに強く、外観変化に耐性を持つように、学習可能なパrameter $ b $ を用いた修正されたバタチャリ距離をパッチ類似度評価に採用する。
• グローバルからローカルへの探索戦略を採用：まずグローバルアフィン変換を適用し、その後ローカル最適化によりずれを補正することで、剛体運動からのわずかなずれに対処する。
• トラッキングの信頼度に基づき、パrameter $ \beta_s $ と $ \beta_c $ を用いた適応的モデル更新機構を実装する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトセグメンテーションに基づく提案されたパッチ配置戦略は、均一またはグリッドベースの配置と比較して、追跡性能にどのように影響を与えるか？
• RQ2 サンプルベースの非パラメトリック色モデルの使用は、外観が変化する条件下でどれほど耐性を高めるか？
• RQ3 グローバルな非ねじれアフィン変換と局所最適化の組み合わせは、わずかな局所変形を伴うオブジェクト運動に対し、どれほど効果的か？
• RQ4 各コンポーネント（パッチ配置、モデル更新、局所最適化、距離尺度）の相対的な寄与度は、全体の追跡精度にどのように寄与しているか？
• RQ5 大規模な照明変化、遮蔽、オブジェクト回転といった極端な条件下で、PBTSは最先端のトラッカーと比較してどの程度の性能を示すか？

主な発見

• PBTSは、VOT2018およびOTB100ベンチマークの両方で、他のすべてのパーツベーストラッカーを上回る性能を達成した。
• アブレーションスタディの結果、オブジェクトセグメンテーションに基づくパッチ配置機構が、性能向上に最も寄与しており、背景への追跡が顕著に減少した。
• 最適化された $ b = 1.4 $ を用いた修正されたバタチャリ距離は、デフォルトの $ b = 1/2 $ よりも優れた性能を示し、距離尺度の調整の有効性を裏付けた。
• 局所最適化とモデル更新の両コンポーネントが、追跡のロバスト性に有意義に寄与しており、前者は精度を向上させ、後者は時間経過に伴うモデル精度の維持に貢献した。
• 失敗事例から、極端な状況における限界が明らかになった：不良なセグメンテーションにより背景に固定されたパッチが生成され、オブジェクトと背景の類似度が極めて高い場合（例：雪の上にいる兎）に追跡のずれが生じた。
• PBTSは、motocross1 や zebrafish1 のようなシーケンスで、大規模な照明変化、オブジェクト回転、運動ぼかしに対しても効果的に対処でき、ANT、DPT、LGTを上回った。