[논문 리뷰] Unsupervised Video Analysis Based on a Spatiotemporal Saliency Detector

Qiang Zhang, Yilin Wang외 1명|arXiv (Cornell University)|2015. 03. 24.

Visual Attention and Saliency Detection참고 문헌 3인용 수 5

한 줄 요약

이 논문은 영상 볼륨의 3D 푸리에 변환에서 유도된 단위 위상 정보를 활용하여 계산 효율성이 높고 비지도 학습 기반의 시공간 주목도 검출기를 제안한다. 정규화된 위상 스펙트럼의 역 푸리에 변환을 통해 주목도 맵을 계산함으로써, 학습이나 사전 지식 없이도 공간과 시간에 걸쳐 동적인 주목 영역을 포착할 수 있으며, 벤치마크 데이터셋에서 비정상성 탐지 및 시공간 관심점 탐지 과제에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Visual saliency, which predicts regions in the field of view that draw the most visual attention, has attracted a lot of interest from researchers. It has already been used in several vision tasks, e.g., image classification, object detection, foreground segmentation. Recently, the spectrum analysis based visual saliency approach has attracted a lot of interest due to its simplicity and good performance, where the phase information of the image is used to construct the saliency map. In this paper, we propose a new approach for detecting spatiotemporal visual saliency based on the phase spectrum of the videos, which is easy to implement and computationally efficient. With the proposed algorithm, we also study how the spatiotemporal saliency can be used in two important vision task, abnormality detection and spatiotemporal interest point detection. The proposed algorithm is evaluated on several commonly used datasets with comparison to the state-of-art methods from the literature. The experiments demonstrate the effectiveness of the proposed approach to spatiotemporal visual saliency detection and its application to the above vision tasks

연구 동기 및 목표

• 시공간 시각 주목도를 탐지하기 위한 단순하고 효율적이며 비지도 학습 기반의 방법을 개발한다.
• 계산된 주목도 맵이 비정상성 탐지 및 시공간 관심점 탐지와 같은 두 가지 핵심 시각 과제에서 유용한지를 입증한다.
• 실세계 영상 데이터셋에서 방법을 평가하고 정확성과 강건성 측면에서 최신 기술 수준의 접근법과 비교한다.
• 위상 정보에서 유도된 주목도 맵이 혼잡하거나 움직이는 배경 조건에서도 이동하는 객체와 관심 있는 인간 신체 부위를 효과적으로 강조할 수 있음을 보여준다.

제안 방법

• 영상 볼륨 X ∈ ℝ^{M×N×T}에 대해 3D 푸리에 변환을 수행하여 Y = ℱ(X)를 계산한다. 여기서 ℱ는 3D 이산 푸리에 변환을 의미한다.
• 주목도 맵을 |ℱ⁻¹(Y / |Y|)|²로 구성함으로써 위상 정보를 강조하면서 크기를 정규화하며, 위상과 주목도 간의 이론적 연관성을 활용한다.
• 노이즈를 감소시키고 공간-시간 일관성을 향상시키기 위해 3D 가우시안 필터를 사용해 주목도 맵을 스무딩한다.
• 알고리즘은 전체 영상 시퀀스를 한 번에 처리하여 이웃 프레임 간의 차이를 기반으로 하는 것과는 달리 장거리 시간적 동역학을 포착한다.
• 이 방법은 학습, 사전 지식, 수동 튜닝이 전혀 필요 없으며, FFT 기반 계산 덕분에 O(N log N) 시간 복잡도를 가진다.
• 주목도 맵을 특징 추출의 집중 마스크로 사용함으로써 후속 작업에 대한 탄력적인 통합이 가능하며, 예를 들어 행동 인식을 위한 히스토GRAM 기반 기술자에 적용할 수 있다.

실험 결과

연구 질문

• RQ1 지도 학습 없이도 위상 기반의 시공간 주목도 검출이 영상 내 이동 객체와 인간 행동을 효과적으로 강조할 수 있는가?
• RQ2 다양한 영상 조건에서 최신 기술 수준의 주목도 검출기와 비교해 본다면 제안된 방법의 정확성과 강건성은 어떠한가?
• RQ3 계산된 시공간 주목도 맵은 비정상성 탐지 및 관심점 탐지와 같은 후속 시각 과제에서 성능 향상에 기여하는가?
• RQ4 전체 영상 대신 주목도 맵에서 특징을 추출하는 것이 행동 인식 과제에서 더 높은 성능을 이끌어내는가?

주요 결과

• 주목도 맵 특징을 사용했을 때 제안된 방법은 Weizmann 데이터셋에서 95.6%의 최고 정확도를 기록했으며, KTH 데이터셋에서는 92.6%를 달성하여 모든 베이스라인 검출기보다 뛰어났다.
• UCF Sports 데이터셋에서는 주목도 맵을 사용해 86.7%의 정확도를 기록했으며, 최고의 베이스라인(Dense: 81.6%)보다 5.1% 높은 성능을 보였다.
• 주목도 맵은 손과 사지와 같은 이동하는 신체 부위를 효과적으로 강조하여 정적 신체 부위보다 더 높은 주목도 값을 할당한다(빨간 영역).
• UCF Sports 및 KTH 데이터셋의 정성적 결과를 통해 움직이는 배경, 혼잡한 장면, 척도 변화에 대한 강건성이 입증되었다.
• 주목도 맵을 활용한 특징 추출은 특히 KTH와 Weizmann와 같이 단순 배경을 가진 데이터셋에서 인식 성능을 크게 향상시켰다.
• 이론적 및 실증적 분석을 통해 위상 기반 주목도 계산이 퀼리니언 푸리에 변환 방법과 매우 높은 상관성을 보이며, 본 방법의 일관성과 효과성을 검증했다.