[논문 리뷰] Two-Stream Convolutional Networks for Dynamic Saliency Prediction.

Çağdaş Bak, Aykut Erdem외 1명|arXiv (Cornell University)|2016. 07. 16.

Visual Attention and Saliency Detection참고 문헌 65인용 수 23

한 줄 요약

이 논문은 공간적 및 시간적 특징을 활용하여 영상에서 동적 색시오니티를 예측하기 위해 이중 스트림 컨volution 네트워크를 제안하며, 일반화 성능을 향상시키기 위해 새로운 데이터 증강 기법을 사용한다. 모델은 DIEM 데이터셋에서 최신 기술 수준의 성능을 달성했으며, SALICON에서의 전이 학습을 통해 광학 흐름을 통한 운동 정보 통합이 정적 색시오니티 예측을 향상시킨다는 것을 입증한다.

ABSTRACT

In recent years, visual saliency estimation in images has attracted much attention in the computer vision community. However, predicting saliency in videos has received rela- tively little attention. Inspired by the recent success of deep convolutional neural networks based static saliency mod- els, in this work, we study two different two-stream convo- lutional networks for dynamic saliency prediction. To im- prove the generalization capability of our models, we also introduce a novel, empirically grounded data augmenta- tion technique for this task. We test our models on DIEM dataset and report superior results against the existing mod- els. Moreover, we perform transfer learning experiments on SALICON, a recently proposed static saliency dataset, by finetuning our models on the optical flows estimated from static images. Our experiments show that taking motion into account in this way can be helpful for static saliency estimation.

연구 동기 및 목표

• 정적 이미지 색시오니티에 비해 영상에서의 동적 색시오니티 예측에 대한 연구가 제한적이라는 문제를 해결하기 위해.
• 영상 색시오니티에 특화된 경험적으로 기반을 둔 새로운 데이터 증강 기법을 통해 모델의 일반화 성능을 향상시키기 위해.
• 정적 이미지에서 추정한 광학 흐름을 활용하여 영상 기반 모델에서 정적 이미지 색시오니티 예측으로의 전이 학습을 탐색하기 위해.
• 운동 모델링이 동적 및 정적 시각 작업 양쪽에서 색시오니티 예측 성능 향상에 기여하는지 평가하기 위해.

제안 방법

• 프레임워크는 이중 스트림 컨volution 신경망을 활용한다: 하나의 스트림은 공간적 특징을 위해 RGB 프레임을 처리하고, 다른 스트림은 시간적 동적 특징을 위해 광학 흐름을 처리한다.
• 영상 색시오니티 작업에 특화된 새로운 데이터 증강 전략이 도입되어 모델의 강건성과 일반화 능력을 향상시킨다.
• 모델은 정확한 색시오니티 앵커파일이 포함된 영상 클립을 사용하여 DIEM 데이터셋에서 엔드 투 엔드로 훈련된다.
• 전이 학습은 사전 훈련된 이중 스트림 모델을 SALICON 데이터셋에서 미세 조정함으로써 수행되며, 정적 이미지에서 추정한 광학 흐름을 운동 스트림의 입력으로 사용한다.
• 공간적 특징과 운동 특징의 융합을 통해 모델은 외관과 운동 기반 색시오니티 신호를 효과적으로 포착할 수 있다.

실험 결과

연구 질문

• RQ1 이중 스트림 컨volution 신경망은 영상의 동적 색시오니티 예측을 위해 공간적 및 시간적 특징을 효과적으로 모델링할 수 있는가?
• RQ2 제안된 데이터 증강 기법은 영상 색시오니티 작업에서 모델의 일반화 성능을 어떻게 향상시키는가?
• RQ3 정적 이미지에서 추출한 운동 정보는 전이 학습을 통해 정적 색시오니티 추정 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 정적 이미지에서 추출한 광학 흐름을 통합함으로써 SALICON과 같은 정적 색시오니티 벤치마크에서 성능 향상이 이루어지는가?

주요 결과

• 제안된 이중 스트림 모델은 기존 최신 기술 수준의 모델들에 비해 DIEM 데이터셋에서 뛰어난 성능을 달성한다.
• 새로운 데이터 증강 기법은 특히 데이터가 적은 환경에서 모델의 일반화 성능을 크게 향상시킨다.
• 영상 기반 이중 스트림 모델에서 SALICON 데이터셋으로의 전이 학습은 정적 색시오니티 예측 성능 향상에 기여한다.
• 정적 이미지에서 추출한 광학 흐름을 통한 운동 특징 통합은 모델이 정적 이미지의 주목 영역을 예측하는 능력을 향상시킨다.