[論文レビュー] Unsupervised Object Discovery and Tracking in Video Collections

Suha Kwak, Minsu Cho+3 more|arXiv (Cornell University)|May 14, 2015

Video Surveillance and Tracking Methods参考文献 31被引用数 15

ひとこと要約

本論文は、動画コレクション全体において、オブジェクト発見（クロスビデオ領域対応）とトラッキング（ビデオ内領域関連付け）を同時に最適化することで、教師なしで支配的オブジェクトを発見・追跡する手法を提案する。YouTube-Objectデータセットにおいて、クラスラベルを一切使用しない状態でも最先端のコロカル化手法を上回り、動画間でオブジェクトクラスのトポロジー的関係を暗黙的に学習する。

ABSTRACT

This paper addresses the problem of automatically localizing dominant objects as spatio-temporal tubes in a noisy collection of videos with minimal or even no supervision. We formulate the problem as a combination of two complementary processes: discovery and tracking. The first one establishes correspondences between prominent regions across videos, and the second one associates successive similar object regions within the same video. Interestingly, our algorithm also discovers the implicit topology of frames associated with instances of the same object class across different videos, a role normally left to supervisory information in the form of class labels in conventional image and video understanding methods. Indeed, as demonstrated by our experiments, our method can handle video collections featuring multiple object classes, and substantially outperforms the state of the art in colocalization, even though it tackles a broader problem with much less supervision.

研究の動機と目的

• 教師なしまたは最小限の監督で、カレントでない動画コレクションにおいて、支配的オブジェクトを空間的・時間的チューブとして局所化すること。
• クラスラベルや手動アノテーションに依存せずに、顕著なオブジェクト領域間のクロスビデオ対応関係を確立すること。
• オブジェクト発見とトラッキングを統合的に最適化することで、局所化の正確性と頑健性を向上させること。
• 動画間でオブジェクトクラスの暗黙的なトポロジーを解明し、類似するオブジェクトカテゴリ間の関係を明らかにすること。
• 完全に教師なしの設定において、動画コロカル化という広範な課題に取り組み、教師ありベースラインを上回る性能を達成すること。

提案手法

• 本手法は、クロスビデオ領域マッチング（発見）とビデオ内領域トラッキング（追跡）を統合した最適化フレームワークを用いる。
• オブジェクト発見は、類似領域を異なる動画間で特定するための確率的ハフマッチングにより実行され、フレームの近傍グラフが構築される。
• トラッキングは、1つの領域から出発し別の領域に到達する点軌跡を用いて、同じビデオの連続するフレーム間の領域を結びつける。
• 空間的・時間的につながった領域の系列として、1つのビデオ内でのトラッキングオブジェクトを空間的・時間的チューブとして定義する。
• アルゴリズムは、オブジェクト局所化の最適化と近傍構造の更新を交互に繰り返し、両者を段階的に改善する。
• 最近傍検索とトポロジー推論を用いて、動画間で学習された暗黙のクラス関係を評価する。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト発見とトラッキングを同時に最適化することで、動画コレクションにおける教師なし局所化性能を向上させられるか？
• RQ2 クラスラベルや監督情報が一切ない状態でも、コロカル化の性能はどの程度達成できるか？
• RQ3 本手法は、異なる動画間でオブジェクトクラス間の暗黙的なトポロジカル関係を学習できるか？
• RQ4 動き情報とクロスビデオ対応関係は、局所化の正確性にどのような影響を及けるか？
• RQ5 教師ありおよび弱教師ありアプローチと比較して、本手法のコロカル化性能はどの程度か？

主な発見

• 本手法は、YouTube-Objectデータセットにおいて、完全に教師なし設定下で最先端の動画コロカル化性能を大幅に上回り、CorRetスコアは35.5%を達成した。
• 全クラス平均のトップ-1誤差率は51.3%であるが、外観が特徴的なクラス（例：「aeroplane」では12.1%）では誤差率が顕著に低い。
• トップ-2誤差率は34.0%であり、視覚的特徴が明確なクラスにおいて特に優れた性能を示している。
• 本手法はオブジェクトクラスの本質的トポロジーを効果的に回復しており、多くのクラスが自らと強く関連しており、類縁クラス（例：「cat」, 「dog」, 「cow」, 「horse」）間にも部分的な相互接続が観察された。
• 動き情報が欠落しても、本手法は合理的なオブジェクト局所化を達成できるが、性能は著しく低下するため、動き情報が頑健性に重要な役割を果たしていることが示された。
• 本手法は複数のオブジェクトクラスに一般化でき、監視なしでもノイズが多く、カレントでない動画コレクションに対しても効果的に対処できる。