[論文レビュー] Geometric Hypergraph Learning for Visual Tracking

Dawei Du, Honggang Qi+4 more|arXiv (Cornell University)|Mar 18, 2016

Video Surveillance and Tracking Methods参考文献 40被引用数 4

ひとこと要約

本稿では、標的と候補部品間の複数の対応仮説における高次元幾何的関係をモデル化することで、変形や隠蔽に対してより頑健な視覚追跡のための幾何的ハイパーグラフ学習フレームワークを提案する。信頼度を考慮したハイパーグラフ上のモード探索として追跡を定式化することで、VOT2014およびDeform-SOTベンチマークで最先端の性能を達成した。

ABSTRACT

Graph based representation is widely used in visual tracking field by finding correct correspondences between target parts in consecutive frames. However, most graph based trackers consider pairwise geometric relations between local parts. They do not make full use of the target's intrinsic structure, thereby making the representation easily disturbed by errors in pairwise affinities when large deformation and occlusion occur. In this paper, we propose a geometric hypergraph learning based tracking method, which fully exploits high-order geometric relations among multiple correspondences of parts in consecutive frames. Then visual tracking is formulated as the mode-seeking problem on the hypergraph in which vertices represent correspondence hypotheses and hyperedges describe high-order geometric relations. Besides, a confidence-aware sampling method is developed to select representative vertices and hyperedges to construct the geometric hypergraph for more robustness and scalability. The experiments are carried out on two challenging datasets (VOT2014 and Deform-SOT) to demonstrate that the proposed method performs favorable against other existing trackers.

研究の動機と目的

• 大規模な変形や隠蔽下で誤差伝搬に悩まされる、視覚追跡における二項幾何モデリングの限界を解消すること。
• 複数の対応仮説間の高次元幾何的構造を活用して、識別力と頑健性を向上させること。
• 大規模追跡に適したスケーラブルでノイズに強いハイパーグラフ構築法を信頼度を考慮したサンプリングにより開発すること。
• 視覚追跡を幾何的ハイパーグラフ上のモード探索問題として定式化し、構造的に整合的で信頼度の高い対応グループを特定すること。
• 顕著な変形、隠蔽、外観変化を伴う困難なベンチマークで優れた性能を示すこと。

提案手法

• 標的部品（前フレームから）と候補部品（現在フレーム内）間の対応仮説を頂点とする幾何的ハイパーグラフを構築する。
• 複数の対応仮説間の高次元幾何的関係をハイパーエッジとして定義し、部品間の整合的な空間的配置（例：三角形の角度）を符号化する。
• 代表的な頂点およびハイパーエッジを選択することで計算コストを低減し、ノイズに対する頑健性を向上させる信頼度を考慮したサンプリング戦略を導入する。
• ハイパーグラフ上でモード探索問題として追跡を定式化し、二項座標更新を用いて信頼度が最大となる構造的対応モードを特定する。
• スケール変化に強い三角形ベースの類似度測定における角度不変性を活用し、外観変化に対する頑健性を向上させる。
• ハイパーグラフ構造を活用して、標的部品間のインライア幾何的構造と背景部品との文脈的関係を同時にモデル化する。

実験結果

リサーチクエスチョン

• RQ1 複数の対応仮説間の高次元幾何的関係は、二項モデルと比較して、大規模な変形や隠蔽下でも追跡の頑健性を向上させ得るか？
• RQ2 視覚追跡において、正確さとスケーラビリティのバランスをとるため、幾何的ハイパーグラフをどのように効率的に構築・最適化できるか？
• RQ3 信頼度を考慮したサンプリングは、ノイズの多い対応にどれほど敏感に低下させつつも、重要な構造的情報を保持できるか？
• RQ4 ハイパーグラフ上でのモード探索プロセスは、正確な標的局所化に適した最も一貫性があり信頼性の高い対応グループを効果的に特定できるか？
• RQ5 本手法は、変形、隠蔽、照明変化といった深刻な課題を伴うベンチマークにおいて、最先端のトラッカーと比較してどの程度優れているか？

主な発見

• 提案された幾何的ハイパーグラフトラッカー（GGT）は、Deform-SOTデータセットで最高の成功スコアと2番目の精度スコアを達成し、既存手法を上回った。
• VOT2014データセットでは、GGTは特に大規模な変形や部分的隠蔽を伴うシーケンスにおいて優れた性能を示した。
• 急激な運動、ポーズ変化、回転に対しても正確な追跡を維持でき、SCM や TCP といった手法はドリフトにより失敗するのに対し、本手法はその影響を回避した。
• ハイパーエッジにおける角度不変類似度測定の活用により、スケール変化に強く、DGT（二項関係に依存）よりも優れた性能を発揮した。
• 信頼度を考慮したサンプリング手法により、ハイパーグラフのサイズと計算負荷が効果的に低減され、同時に重要な構造的情報を保持したため、スケーラビリティが向上した。
• 背景のゴミダネ状況（例：サッカーのシーケンス）でも、構造的一致性と文脈的関係をモデル化することで、誤った対象にドリフトするのを効果的に回避し、追跡に成功した。