[논문 리뷰] Revisiting Video Saliency: A Large-scale Benchmark and a New Model

Wenguan Wang, Jianbing Shen외 3명|arXiv (Cornell University)|2018. 01. 23.

Visual Attention and Saliency Detection참고 문헌 63인용 수 42

한 줄 요약

DHF1K를 도입한 대규모 동적 주의도 데이터셋(1K 비디오 및 600K 프레임 이상)과 감독된 정지 주의도를 활용한 CNN-LSTM 기반의 주의 모델로, 동적 비디오 주의도 예측의 성능을 향상시키고 기존 방법들보다 우수하게 수행합니다.

ABSTRACT

In this work, we contribute to video saliency research in two ways. First, we introduce a new benchmark for predicting human eye movements during dynamic scene free-viewing, which is long-time urged in this field. Our dataset, named DHF1K (Dynamic Human Fixation), consists of 1K high-quality, elaborately selected video sequences spanning a large range of scenes, motions, object types and background complexity. Existing video saliency datasets lack variety and generality of common dynamic scenes and fall short in covering challenging situations in unconstrained environments. In contrast, DHF1K makes a significant leap in terms of scalability, diversity and difficulty, and is expected to boost video saliency modeling. Second, we propose a novel video saliency model that augments the CNN-LSTM network architecture with an attention mechanism to enable fast, end-to-end saliency learning. The attention mechanism explicitly encodes static saliency information, thus allowing LSTM to focus on learning more flexible temporal saliency representation across successive frames. Such a design fully leverages existing large-scale static fixation datasets, avoids overfitting, and significantly improves training efficiency and testing performance. We thoroughly examine the performance of our model, with respect to state-of-the-art saliency models, on three large-scale datasets (i.e., DHF1K, Hollywood2, UCF sports). Experimental results over more than 1.2K testing videos containing 400K frames demonstrate that our model outperforms other competitors.

연구 동기 및 목표

• 다양한 장면, 동작, 시선 주석을 포함하는 표준화되고 대규모의 동적(비디오) 주의도 벤치마크를 생성한다.
• 정적 고정 데이터 활용을 위한 감독적 주의 메커니즘을 통합한 CNN-LSTM 기반 비디오 주의도 모델을 제안한다.
• 향후 연구를 위한 기준선과 시사점을 확립하기 위해 다수 벤치마크에서 최첨단 비디오 주의도 모델을 분석하고 비교한다.

제안 방법

• DHF1K를 제안한다. 1,000개의 비디오(582,605 프레임)로 구성되며, 각 프레임마다 17명의 관찰자로부터의 고정이 포함되고, 더 깊은 시선 분석을 위한 범주 및 속성 주석이 있다.
• CNN이 프레임 내의 정적 특징을 추출하고, 주의 모듈이 감독된 정적 주의도를 특징 맵에 주입하며, convLSTM이 시간적 주의도 역학을 모델링하는 주의형 CNN-LSTM 아키텍처를 개발한다.
• convLSTM으로부터 1x1 합성곱 기반의 시간 맵을 사용하여 동적 주의도 예측을 생성하고, 풍부한 공간 정보를 보존하기 위해 주의 가이드 잔여 연결을 활용한다.
• 정적 및 동적 주의도 예측을 공동으로 최적화하기 위해 KL 발산, 선형 상관계수(CC), NSS 기반 항들을 결합한 손실 함수를 도입하여 정적/동적 주의도 예측을 함께 최적화한다.
• 혼합 프로토콜로 학습한다: 정적 데이터에 대한 이미지 기반 주의 감독과 동적 데이터에 대한 비디오 기반 감독을 사용하며, DHF1K에서 600/100/300의 train/val/test 분할과 Hollywood-2 및 UCF Sports에서 유사한 분할을 사용한다.
• 세 가지 벤치마크(DHF1K, Hollywood-2, UCF Sports)에서 표준 주의도 지표(AUC-Judd, SIM, s-AUC, CC, NSS)를 사용하여 성능을 보고한다.

Figure 1: Average annotation maps of three datasets used in benchmarking: (a) Hollywood-2, (b) UCF sports, (c) DHF1K.

실험 결과

연구 질문

• RQ1 정적 주의도 데이터를 활용한 감독된 주의 메커니즘이 동적 비디오 주의도 예측을 향상시킬 수 있는가?
• RQ2 주의 모듈이 있는 CNN-LSTM 프레임워크가 대규모의 제약 없는 비디오 데이터셋에서 기존의 동적 주의도 모델을 능가하는가?
• RQ3 제안된 모델이 다양한 데이터셋(DHF1K, Hollywood-2, UCF Sports)과 다양한 학습 구성에서 어떻게 일반화되는가?
• RQ4 다양한 규모의 학습 데이터 사용이 동적 주의도 성능에 어떤 영향을 미치는가?

주요 결과

• DHF1K는 동적 자유 시청용으로 가장 큰 아이 트래킹 데이터세트로, 1,000개 비디오와 582,605 프레임으로 구성되며 일반화 및 벤치마킹 향상을 목표로 한다.
• 주의형 CNN-LSTM 모델은 DHF1K, Hollywood-2, UCF Sports에서 다수의 지표에 대해 일관되게 최신 동적 주의도 모델을 능가한다.
• 감독된 정적 주의 모듈을 도입하면 공간 특징 표현이 향상되어 광류(optical flow) 없이도 시간적 주의도 학습에 도움이 된다.
• 대규모 데이터로 학습하면 성능이 향상되지만 데이터 다양성은 중요하다(예: UCF Sports는 더 작고 덜 다양한 학습 세트에서 이점을 본다).
• 본 접근법은 프레임당 추론이 빠르고(~0.08초) 224x224 프레임에서 엔드투엔드 학습의 이점을 얻으며 추가적인 전처리/후처리 없이 동작한다.

Figure 2: Example frames from DHF1K with fixations (red dots) and corresponding categories.