[논문 리뷰] Spatio-Temporal Saliency Networks for Dynamic Saliency Prediction

Çağdaş Bak, Aysun Kocak외 2명|arXiv (Cornell University)|2016. 07. 16.

Visual Attention and Saliency Detection인용 수 8

한 줄 요약

이 논문은 영상에서 동적 색소니티를 동시에 공간적 및 시간적 특징을 모델링함으로써 예측하기 위해 이중 스트림 컨volution 신경망 아키텍처를 사용하는 공간-시간 색소니티 네트워크(STSConvNet)를 제안한다. 엘리먼트와 컨볼루션 퓨전 전략을 사용한 엔드 투 엔드 훈련을 통해 DIEM 및 UCF-Sports 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 정적 영상에서의 색소니티 예측 성능을 향상시키기 위해 정적 이미지에서의 옵티컬 플로우를 통합하였다.

ABSTRACT

Computational saliency models for still images have gained significant popularity in recent years. Saliency prediction from videos, on the other hand, has received relatively little interest from the community. Motivated by this, in this work, we study the use of deep learning for dynamic saliency prediction and propose the so-called spatio-temporal saliency networks. The key to our models is the architecture of two-stream networks where we investigate different fusion mechanisms to integrate spatial and temporal information. We evaluate our models on the DIEM and UCF-Sports datasets and present highly competitive results against the existing state-of-the-art models. We also carry out some experiments on a number of still images from the MIT300 dataset by exploiting the optical flow maps predicted from these images. Our results show that considering inherent motion information in this way can be helpful for static saliency estimation.

연구 동기 및 목표

• 영상에서 공간적 및 시간적 정보를 효과적으로 통합하는 딥 러닝 기반의 동적 색소니티 모델이 부족한 문제를 해결하기 위해.
• 외관 및 운동 특징를 동시에 처리하기 위해 인간의 시각 경로를 모방하는 이중 스트림 CNN 아키텍처를 개발하기 위해.
• 표준 동적 색소니티 벤치마크(DIEM 및 UCF-Sports)에서 제안된 모델을 평가하고 기존 최신 기술 수준(SOTA) 방법들과 비교하기 위해.
• 정적 이미지에서 추출한 운동 정보(옵티컬 플로우를 통해)가 정적 색소니티 예측 성능을 향상시키는지 조사하기 위해.
• 정적 이미지에서 추정된 운동 정보를 활용하여 영상 데이터를 초월한 일반화 능력을 입증하기 위해.

제안 방법

• 모델은 이중 스트림 CNN 아키텍처를 사용한다: 하나의 스트림은 공간적 특징을 위해 RGB 프레임을 처리하고, 다른 스트림은 시간적 동적 특징을 위해 옵티컬 플로우 맵을 처리한다.
• 엘리먼트와 컨볼루션 퓨저션 전략을 포함한 세 가지 퓨저션 전략—엘리먼트와의 평균화, 최대 퓨저션, 컨볼루션 퓨저션—이 엔드 투 엔드 훈련 가능한 방식으로 두 스트림의 특징을 통합하기 위해 탐색되었다.
• 모델은 진짜 색소니티 맵과 함께, 저해상도 영상 프레임 및 색소니티 맵을 활용한 새로운 데이터 증강 기법을 결합하여 훈련되었다.
• 정적 이미지 실험에서는 사전 훈련된 딥 옵티컬 플로우 모델을 사용해 정적 이미지에서 옵티컬 플로우를 예측하고, 그 결과로 유도된 운동 맵을 STSConvNet 프레임워크 내에서 RGB 입력과 융합하였다.
• 손실 함수는 표준 백프로파게이션을 사용해 엔드 투 엔드로 최적화되었으며, AUC, CC, NSS와 같은 표준 지표를 사용해 성능을 평가하였다.
• 모델은 DIEM 및 UCF-Sports 데이터셋에서 토닝되었으며, 아블레이션 스터디를 통해 각 퓨저션 전략의 효과성을 검증하였다.

실험 결과

연구 질문

• RQ1 이중 스트림 딥 러닝 아키텍처는 영상의 동적 색소니티 예측을 위해 공간적 및 시간적 특징을 효과적으로 통합할 수 있는가?
• RQ2 엘리먼트, 최대, 또는 컨볼루션 퓨저션 중 어느 전략이 공간적 및 시간적 특징을 통합하는 데 가장 뛰어난 성능을 내는가?
• RQ3 옵티컬 플로우 맵에서 추출한 운동 정보를 통합함으로써 정적 이미지에서의 색소니티 예측 성능이 향상되는가?
• RQ4 제안된 STSConvNet 모델은 기준 벤치마크 데이터셋에서 기존 최신 기술 수준(SOTA) 동적 색소니티 모델들과 비교해 어떻게 성능을 내는가?
• RQ5 모델은 영상 데이터를 초월해 내재된 운동 신호를 활용하여 정적 이미지에서의 색소니티 예측 성능을 향상시키기 위해 일반화 능력을 갖추고 있는가?

주요 결과

• STSConvNet 모델은 AUC, CC, NSS 등 여러 평가 지표에서 DIEM 및 UCF-Sports 데이터셋에서 모든 기존 최신 기술 수준(SOTA) 동적 색소니티 모델을 능가하는 성능을 보였다.
• 테스트된 세 가지 퓨저션 메커니즘 중에서 컨볼루션 퓨저션 전략이 가장 뛰어난 성능을 보였으며, 공간적 및 시간적 특징을 통합하는 데 그 효과성을 입증하였다.
• DIEM 데이터셋에서 STSConvNet* 모델은 최근에 제안된 DWS 모델과 비교해 모든 평가 지표에서 뛰어난 결과를 달성하였다.
• 복잡한 장면에서 달리는 달리개, 웨이트리프터, 움직이는 인물 등의 주목할 만한 영역을 성공적으로 국소화하였으며, 정성적 비교에서 기준 모델보다 뛰어난 성능을 보였다.
• MIT300 데이터셋의 정적 이미지에 적용했을 때, 옵티컬 플로우 입력을 사용한 모델은 최신 기술 수준(SOTA) 정적 색소니티 모델보다 더 정확한 색소니티 맵을 생성하였으며, 특히 운동 유추 주목 영역을 잘 포착하였다.
• 저해상도 데이터 증강 기법의 사용은 모델 성능을 크게 향상시켰으며, 데이터가 부족한 상황에서의 가치를 보여주었다.