[논문 리뷰] Event Matching from Significantly Different Views using Motion Barcodes.

Gil Ben-Artzi, Michael Werman외 1명|arXiv (Cornell University)|2014. 12. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 24인용 수 3

한 줄 요약

이 논문은 운동 바코드를 제안한다 — 시점에 관계없이 동일한 이벤트를 인식할 수 있는 비디오 특징으로, 시간에 따른 운동 존재 여부를 인코딩하여 다양한 카메라 시점 간의 강력한 이벤트 매칭을 가능하게 한다. 외관이나 운동 방향이 아닌 운동 존재 여부에 초점을 맞추어, 가림과 다양한 카메라 각도가 있는 도전적인 상황에서도 높은 유사도 정확도를 달성하며, 외관 기반 접근 방식을 능가한다.

ABSTRACT

We introduce a method to determine if two videos are of the same event even when they are taken from significantly different viewing directions. Based on this, a video can be retrieved from a database of events, and video collections can be clustered into sets of videos each viewing the same event. Our method works well even in cases where the videos are so different that appearance based methods (e.g. SIFT) are not sufficient. This viewpoint invariance is based on a new pixelbased feature, “motion barcode”, which records the existence/non-existence of motion as a function of time. While appearance, motion magnitude, and motion direction can vary between viewpoints, the existence of motion is viewpoint invariant. Based on the motion barcode, a similarity measure is developed for videos from very different viewpoints. This measure is robust to occlusions common under different viewpoints and can be computed efficiently We show the utility of motion barcodes using challenging sequences from stationary and hand held cameras.

연구 동기 및 목표

• 극적으로 다른 시점에서 촬영된 동일한 이벤트의 비디오를 매칭하는 데 도전하는 데 목적을 두며.
• 외관 기반 방법(예: SIFT)이 실패하는 경우에도 시점 변화에 강인한 특징 표현을 개발하는 데 목적을 두며.
• 다양한 카메라 시점에서 이벤트 관련 비디오를 효율적으로 검색하고 군집화할 수 있도록 하는 데 목적을 두며.
• 가림과 시점 변화에 강건한 유사도 측정 방법을 만들기 위한 목적을 두며.

제안 방법

• 운동 바코드를 비디오의 픽셀 기반 특징으로 도입하여, 시간에 따른 운동 존재 여부 또는 부재 여부를 기록한다.
• 각 픽셀에서 시간에 걸쳐 운동을 분석하여, 운동 존재 여부를 이진 수열로 인코딩한다.
• 다른 시점에서 촬영된 비디오를 비교하기 위해 운동 바코드 정렬 기반의 유사도 측정 방법을 사용한다.
• 운동 크기나 방향과 달리 운동 존재 여부는 시점에 강인하므로, 이를 활용해 강력한 매칭을 보장한다.
• 실제 비디오 컬렉션에서 흔한 가림에 견딜 수 있고 계산 효율성이 높은 방법을 설계한다.

실험 결과

연구 질문

• RQ1 운동 바코드는 극적으로 다른 시점에서 촬영된 동일한 이벤트의 비디오를 효과적으로 매칭할 수 있는가?
• RQ2 가림과 다양한 카메라 각도 하에서 운동 바코드 유사도 측정 방법은 어떻게 성능을 보이는가?
• RQ3 운동 바코드 기반 매칭은 시점에 강인한 비디오 검색에서 외관 기반 방법(SIFT 등)을 얼마나 능가하는가?
• RQ4 다양한 카메라 시점에도 불구하고 운동 바코드는 이벤트별로 비디오 컬렉션을 정확하게 군집화할 수 있는가?

주요 결과

• 운동 바코드는 극적으로 다른 시점에서 촬영된 동일한 이벤트의 비디오를 높은 정확도로 매칭한다.
• 외관 기반 방법(예: SIFT)보다 시각적 외관이 크게 다를 경우에 더 우수한 성능을 보인다.
• 운동 바코드 유사도 측정은 가림에 강건하며 정적 및 손으로 들고 촬영한 카메라 기록 모두에서 성능을 유지한다.
• 이 방법은 다양한 카메라 각도에서 이벤트 관련 비디오의 효과적인 검색과 군집화를 가능하게 한다.