[論文レビュー] Event Matching from Significantly Different Views using Motion Barcodes.

Gil Ben-Artzi, Michael Werman+1 more|arXiv (Cornell University)|Dec 3, 2014

Advanced Image and Video Retrieval Techniques参考文献 24被引用数 3

ひとこと要約

本稿では、動きの存在を時間的に符号化する視点不変な動画特徴であるモーショングレーサイクルを提案する。この特徴により、顕著に異なるカメラの視点から撮影された動画間でも、イベントの一致が堅牢に可能になる。外観や動きの方向ではなく、動きの有無に焦点を当てることで、遮蔽や視点の違いが激しい状況下でも高い類似度精度を達成し、外観ベースの手法を上回る性能を発揮する。

ABSTRACT

We introduce a method to determine if two videos are of the same event even when they are taken from significantly different viewing directions. Based on this, a video can be retrieved from a database of events, and video collections can be clustered into sets of videos each viewing the same event. Our method works well even in cases where the videos are so different that appearance based methods (e.g. SIFT) are not sufficient. This viewpoint invariance is based on a new pixelbased feature, “motion barcode”, which records the existence/non-existence of motion as a function of time. While appearance, motion magnitude, and motion direction can vary between viewpoints, the existence of motion is viewpoint invariant. Based on the motion barcode, a similarity measure is developed for videos from very different viewpoints. This measure is robust to occlusions common under different viewpoints and can be computed efficiently We show the utility of motion barcodes using challenging sequences from stationary and hand held cameras.

研究の動機と目的

• 著しく異なる視点からの映像の間で、同じイベントの映像を一致させる課題に対処すること。
• 外観ベースの手法（例：SIFT）が失敗するような状況でも、視点変化に対して不変な特徴表現を開発すること。
• 多様なカメラアングルから得られる映像のうち、イベント関連の映像を効率的に検索・クラスタリングすること。
• 遮蔽や視点の変化に対して強い耐性を示す、堅牢な類似度測定法の構築

提案手法

• モーショングレーサイクルを、ピクセルベースの特徴として導入し、映像内の時間的動きの有無・無しを記録する。
• 各ピクセルにおける時間的動きの分析を通じてモーショングレーサイクルを構築し、動きの有無をバイナリ列として符号化する。
• 異なる視点からの映像を比較するための類似度測定法を、モーショングレーサイクルのアラインメントに基づいて用いる。
• 動きの大きさや方向とは異なり、動きの有無という性質が視点不変であることに着目し、堅牢な一致を実現する。
• 現実世界の映像コレクションに一般的に見られる遮蔽に対しても耐性があり、計算効率の高い手法を設計する。

実験結果

リサーチクエスチョン

• RQ1 モーショングレーサイクルは、著しく異なる視点からの映像間で、同じイベントの映像を効果的に一致させることができるか？
• RQ2 遮蔽やカメラアングルの変化がある状況下でも、モーショングレーサイクル類似度測定法の性能はどの程度維持されるか？
• RQ3 視点不変な動画検索において、モーショングレーサイクルベースの一致は、SIFTなどの外観ベース手法をどの程度上回るか？
• RQ4 多様なカメラ画角がある中でも、モーショングレーサイクルはイベント固有のグループに映像コレクションを正確にクラスタリングできるか？

主な発見

• モーショングレーサイクルは、著しく異なる視点から撮影された同じイベントの映像間でも、高い正確性で一致を達成する。
• 視覚的外観の変化が著しい状況下では、外観ベースの手法（例：SIFT）を上回る性能を発揮する。
• モーショングレーサイクル類似度は遮蔽に対して頑健であり、固定カメラおよび手振れカメラの両方の記録で性能を維持する。
• 本手法により、多様なカメラアングルから得られるイベント関連映像の効果的な検索とクラスタリングが可能になる。