[논문 리뷰] Deep Learning for Saliency Prediction in Natural Video

Souad Chaabouni, Jenny Benois‐Pineau외 2명|arXiv (Cornell University)|2016. 04. 27.

Visual Attention and Saliency Detection참고 문헌 28인용 수 33

한 줄 요약

이 논문은 CaffeNet 기반의 딥 컨volution 신경망을 제안하여 RGB, 옵티컬 플로우, 대비 특징을 통합하여 자연 영상에서 주목할 만한 영역을 예측한다. IRCCYN 데이터셋에서 89.51%의 정확도를 달성하고 HOLLYWOOD2에서 AUC 성능을 16% 향상시켰으며, 최적화된 데이터 선택을 통해 계산 비용을 12배 감소시켰다.

ABSTRACT

The purpose of this paper is the detection of salient areas in natural video by using the new deep learning techniques. Salient patches in video frames are predicted first. Then the predicted visual fixation maps are built upon them. We design the deep architecture on the basis of CaffeNet implemented with Caffe toolkit. We show that changing the way of data selection for optimisation of network parameters, we can save computation cost up to 12 times. We extend deep learning approaches for saliency prediction in still images with RGB values to specificity of video using the sensitivity of the human visual system to residual motion. Furthermore, we complete primary colour pixel values by contrast features proposed in classical visual attention prediction models. The experiments are conducted on two publicly available datasets. The first is IRCCYN video database containing 31 videos with an overall amount of 7300 frames and eye fixations of 37 subjects. The second one is HOLLYWOOD2 provided 2517 movie clips with the eye fixations of 19 subjects. On IRCYYN dataset, the accuracy obtained is of 89.51%. On HOLLYWOOD2 dataset, results in prediction of saliency of patches show the improvement up to 2% with regard to RGB use only. The resulting accuracy of 76, 6% is obtained. The AUC metric in comparison of predicted saliency maps with visual fixation maps shows the increase up to 16% on a sample of video clips from this dataset.

연구 동기 및 목표

• 자연 영상에서 주목성 예측을 위한 딥 러닝 프레임워크를 개발하여, 정적 영상 주목성 모델을 시간적 동적 특성을 고려하도록 확장한다.
• 인간 시각 시스템(HVS)의 특성을 반영하기 위해 운동 민감성과 대비 특징을 통합하여 주목성 예측 정확도를 향상시킨다.
• 최적화된 데이터 선택 전략을 통해 딥 컨volution 신경망의 주목성 예측 훈련에서 계산 비용을 감소시킨다.
• 눈의 이동 데이터가 포함된 공개 영상 데이터셋에서 모델 성능을 평가하고 최신 기술과 비교한다.
• 영상 주목성 예측에서 바닥에서부터의(운동, 대비) 및 상향식 주목성 메커니즘의 상호작용을 조사한다.

제안 방법

• RGB, 옵티컬 플로우, 대비 특징을 입력 채널로 사용하여 CaffeNet 아키텍처를 영상 주목성 예측에 적응시킨다.
• 교차 검증을 통해 훈련 세트에서 검증한 바에 비추어, 훈련 반복 수를 12배 감소시키면서도 높은 정확도를 유지하는 데이터 선택 전략을 도입한다.
• 전통적인 주목성 모델에서 유도한 대비 특징을 추가하여 밝기 및 색상 차이에 대한 민감도를 향상시킨다.
• 인간 관찰자의 눈의 이동 데이터를 기준으로 한 진정값을 사용하여, 이미지 패치를 주목성 있는지 또는 비주목성 있는지 분류하기 위해 지도 학습을 적용한다.
• 프레임 간 예측된 주목성 패치를 통합하여 조밀한 주목성 맵을 생성함으로써 전체 프레임의 주목성 예측을 가능하게 한다.
• 테스트 클립에서 AUC 및 정확도 지표를 평가하기 위해 다중 해상도 접근 방식을 사용한다.

실험 결과

연구 질문

• RQ1 운동 및 대비 특징을 통합함으로써 딥 컨volution 신경망이 자연 영상에서 주목할 만한 영역을 효과적으로 예측할 수 있는가?
• RQ2 RGB만을 사용하는 모델에 비해 옵티컬 플로우와 대비 특징을 포함함으로써 주목성 예측 성능가 향상되는가?
• RQ3 최적화된 데이터 선택 전략이 주목성 예측 모델의 훈련 시간을 얼마나 줄일 수 있으며, 정확도 손실 없이 가능한가?
• RQ4 영상 주목성 예측에서 바닥에서부터의(운동, 대비) 및 상향식(의미 이해) 주목성 메커니즘이 어떻게 상호작용하는가?
• RQ5 눈의 이동 데이터가 포함된 공개 영상 데이터셋에서 제안된 모델이 최신 기술 대비 성능 향상은 어느 정도인가?

주요 결과

• 제안된 모델은 IRCCYN 데이터셋에서 89.51%의 정확도를 달성하여 기준 RGB 전용 모델을 능가한다.
• HOLLYWOOD2 데이터셋에서 모델은 RGB 전용 입력에 비해 주목성 패치 예측 정확도를 최대 2% 향상시켰다.
• 기준 모델과 비교할 때 HOLLYWOOD2 클립의 일부에서 예측된 주목성 맵의 AUC 지표가 최대 16% 향상되었다.
• 클립 단위 평가에서 대비 특징 추가로 SignatureSal 모델 대비 평균 0.01560 향상, Seo 모델 대비 평균 0.15862 향상되었다.
• 최적화된 데이터 선택 전략은 계산 비용을 최대 12배 감소시켜 정확도 손실 최소화로 빠른 수렴을 가능하게 하였다.
• HOLLYWOOD2 테스트 세트의 12개 클립 중 6개에서 참조 모델을 일관되게 능가하여 우수한 성능을 입증하였다.