[論文レビュー] Visual tracking with reliable memories

Shu Wang, Shaoting Zhang+2 more|arXiv (Cornell University)|Jul 9, 2016

Video Surveillance and Tracking Methods参考文献 35被引用数 5

ひとこと要約

本論文は、長期間の追跡におけるずれを是正するため、離散フーリエ変換（DFT）に基づく追跡と時間的制約付きクラスタリングを用いた視覚追跡フレームワークを提案する。この手法により、過去のフレームから信頼性が高く一貫性のあるパターン（以下、'信頼性の高い記憶'）を発見・保存する。本手法は最先端の性能を達成し、多数の既存のトラッカーが失敗する4,000フレームを超える動画を正常に追跡する。

ABSTRACT

In this paper, we propose a novel visual tracking framework that intelligently discovers patterns from a wide range of video to resist drift error for long-term tracking tasks. First, we design a Discrete Fourier Transform (DFT) based tracker which is able to exploit a large number of tracked samples while still ensures real-time performance. Second, we propose a clustering method with temporal constraints to explore and memorize consistent patterns from previous frames, named as reliable memories. By virtue of this method, our tracker can utilize uncontaminated information to alleviate drifting issues. Experimental results show that our tracker performs favorably against other state-of-the-art methods on benchmark datasets. Furthermore, it is significantly competent in handling drifts and able to robustly track challenging long videos over 4000 frames, while most of others lose track at early frames.

研究の動機と目的

• 長期間の視覚追跡における持続的なずれの問題、特に遮蔽や外観変化が生じる困難なシーケンスに対して対処すること。
• 履歴フレームから一貫性があり汚染されていないパターンを知的に抽出・保持する手法を開発し、追跡の頑健性を向上させること。
• 長期間にわたり多数の追跡サンプルを活用しつつ、リアルタイム性能を維持すること。
• 4,000フレームを超える追跡を可能にし、これは大多数の既存トラッカーが失敗するベンチマークである。

提案手法

• 大規模な追跡サンプルをリアルタイムで効率的に処理・活用できるように、離散フーリエ変換（DFT）に基づくトラッカーを設計する。
• 時間的制約付きのクラスタリング手法を導入し、過去のフレームから一貫性のある視覚的パターンを特定・保存し、'信頼性の高い記憶'を形成する。
• トラッカーが高い信頼度を維持しているフレームから信頼性の高い記憶を導出することで、清浄で安定した特徴のみが保持されることを保証する。
• トラッキング中に、これらの信頼性の高い記憶を動的に取得・利用し、ずれの補正と予測の安定化を図る。
• クラスタリングにおける時間的制約により、一貫した時間間隔で繰り返されるパターン（時間的に一貫性のあるもの）のみが選択・保存される。
• 追跡ループに信頼性の高い記憶を統合することで、リアルタイム性能を損なわず、頑健性が向上する。

実験結果

リサーチクエスチョン

• RQ1 長期間の動画シーケンスから一貫性のある視覚的パターンを効果的に学習・再利用することで、ずれを低減できるか？
• RQ2 リアルタイム効率を維持しつつ、履歴フレームから自動的に信頼性の高い記憶を発見・保存する方法は何か？
• RQ3 クラスタリングにおける時間的制約が、保存された視覚的パターンの質と関連性をどの程度向上できるか？
• RQ4 このような記憶拡張型トラッカーは、特に4,000フレームを超える領域において、最先端の手法を上回る性能を示せるか？

主な発見

• 提案されたトラッカーは、標準ベンチマークデータセットにおいて最先端の性能を達成し、長期間の追跡シナリオで既存手法を上回った。
• 4,000フレームを超えるシーケンスを正常に追跡でき、多数の既存トラッカーがはるかに早く追跡を失うのとは対照的である。
• 信頼性の高い記憶の活用により、外観変化や遮蔽を伴う長期間の追跡において、ずれが顕著に低減された。
• DFTに基づくトラッカーにより、多数の追跡サンプルを処理してもリアルタイム性能が維持された。
• 時間的制約付きクラスタリング手法により、過去のフレームから安定的で一貫性のある視覚的パターンを効果的に特定・保存できた。
• 従来の手法がずれにより失敗する困難な追跡シナリオにおいても、本フレームワークは頑健性を示した。