[논문 리뷰] Video Saliency Detection by 3D Convolutional Neural Networks

Guanqun Ding, Yuming Fang|arXiv (Cornell University)|2018. 07. 12.

Visual Attention and Saliency Detection참고 문헌 19인용 수 5

한 줄 요약

이 논문은 세 번째 연속 영상 프레임에서의 시공간 특징 학습을 활용하여 정확한 색소맵을 예측하기 위해 3D 컨volution 신경망(Con3DNet)과 3D 디컨볼루션 신경망(Deconv3DNet) 프레임워크를 제안한다. 이 방법은 SegTrackV2 및 DAVIS 데이터셋에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성하며, PLCC, AUC 및 NSS 지표에서 뛰어난 성과를 보였다.

ABSTRACT

Different from salient object detection methods for still images, a key challenging for video saliency detection is how to extract and combine spatial and temporal features. In this paper, we present a novel and effective approach for salient object detection for video sequences based on 3D convolutional neural networks. First, we design a 3D convolutional network (Conv3DNet) with the input as three video frame to learn the spatiotemporal features for video sequences. Then, we design a 3D deconvolutional network (Deconv3DNet) to combine the spatiotemporal features to predict the final saliency map for video sequences. Experimental results show that the proposed saliency detection model performs better in video saliency prediction compared with the state-of-the-art video saliency detection methods.

연구 동기 및 목표

• 영상 색소맵 탐지에 있어 공간적 및 시간적 특징을 효과적으로 추출하고 융합하는 데 도전한다.
• 수작업으로 만든 저수준 특징과 고정된 융합 규칙에 의존하는 전통적 방법의 한계를 극복한다.
• 영상 시퀀스에서 고수준 의미론적 정보와 운동 신호를 포착할 수 있는 엔드 투 엔드 딥 러닝 프레임워크를 개발한다.
• 특히 작은 크기이거나 빠르게 움직이는 물체에 대해 색소맵 예측 정확도를 향상시킨다.
• 3D 컨볼루션 및 디컨볼루션 네트워크가 색소맵 탐지에 있어 시공간 동적 특성을 모델링하는 데 효과적인지 입증한다.

제안 방법

• 제안된 모델은 세 개의 연속 영상 프레임을 입력으로 받아 공동 시공간 특징을 추출하는 3D 컨볼루션 네트워크(Con3DNet)를 사용한다.
• Con3DNet은 다섯 개의 블록으로 구성되며, 각 블록은 3D 컨볼루션 레이어, 배치 정규화, ReLU 활성화 함수, 3D 최대 풀링 레이어를 조합한다.
• 학습된 시공간 특징를 업샘플링하고 융합하여 최종 색소맵 예측을 수행하기 위해 3D 디컨볼루션 네트워크(Deconv3DNet)를 설계하였다.
• 모델은 전방 전파 중 손실을 최소화하기 위해 중심 프레임(It)의 진짜 색소맵을 기반으로 엔드 투 엔드로 훈련된다.
• 움직임과 공간적 맥락을 포착하기 위해 크기가 d×k×k인 3D 커널을 사용하며, 여기서 d는 시간적 깊이, k는 공간 필터 크기이다.
• 3D 컨볼루션 및 디컨볼루션 레이어의 출력 크기는 f×h×w×c로 표현되며, 각각 프레임 수, 높이, 너비, 채널 수를 나타낸다.

실험 결과

연구 질문

• RQ1 3D 컨볼루션 네트워크는 영상 색소맵 탐지에 있어 공동 시공간 특징을 효과적으로 학습할 수 있는가?
• RQ2 수작업 특징에 의존하는 전통적 방법과 비교해, 3D 컨볼루션을 활용한 엔드 투 엔드 학습 방식은 어떤가?
• RQ3 3D 디컨볼루션 네트워크는 계층적 특징에서 고해상도 색소맵을 효과적으로 재구성할 수 있는가?
• RQ4 제안된 모델은 PLCC, AUC 및 NSS 지표에서 기존 최신 기술 수준의 방법들을 능가하는가?
• RQ5 복잡한 영상 환경에서 작은 크기이거나 빠르게 움직이는 주목할 만한 물체를 효과적으로 처리할 수 있는가?

주요 결과

• 제안된 방법은 SegTrackV2 데이터셋에서 0.7838의 최고 PLCC 점수를 기록하여 비교된 모든 방법들을 능가했다.
• DAVIS 데이터셋에서는 PLCC가 0.8145를 기록하여 두 번째로 우수한 성능을 보인 MultiTask 방법(0.8138)을 초월했다.
• SegTrackV2에서 AUC 점수는 0.9107, DAVIS에서는 0.9325를 기록하여 뛰어난 분류 성능를 나타냈다.
• SegTrackV2에서 NSS 점수는 3.0830, DAVIS에서는 2.9485를 기록하여 인간의 시선 집중 패턴과 더 잘 일치하는 것으로 나타났다.
• 그림 4의 시각적 비교 결과, 제안된 방법은 기준 방법 대비 더 깔끔한 색소맵과 더 적은 배경 오진영역을 생성하였다.
• 그림 3의 ROC 곡선은 제안된 모델이 두 데이터셋 모두에서 기존 방법들을 일관되게 능가함을 확인했다.