[논문 리뷰] TASED-Net: Temporally-Aggregating Spatial Encoder-Decoder Network for Video Saliency Detection

Kyle Min, Jason J. Corso|arXiv (Cornell University)|2019. 08. 15.

Visual Attention and Saliency Detection참고 문헌 40인용 수 17

한 줄 요약

TASED-Net는 3D 완전 컨volution 신경망으로, 공간 복원과 시간적 집계를 동시에 수행하기 위해 새로운 보조 풀링 메커니즘을 도입하여 효과적인 max-unpooling을 가능하게 한다. 이는 DHF1K, Hollywood2 및 UCFSports에서 기존 최고 성능 모델들을 뛰어넘으며, 특히 주목할 만한 움직임을 보이는 객체에 더 잘 집중한다.

ABSTRACT

TASED-Net is a 3D fully-convolutional network architecture for video saliency detection. It consists of two building blocks: first, the encoder network extracts low-resolution spatiotemporal features from an input clip of several consecutive frames, and then the following prediction network decodes the encoded features spatially while aggregating all the temporal information. As a result, a single prediction map is produced from an input clip of multiple frames. Frame-wise saliency maps can be predicted by applying TASED-Net in a sliding-window fashion to a video. The proposed approach assumes that the saliency map of any frame can be predicted by considering a limited number of past frames. The results of our extensive experiments on video saliency detection validate this assumption and demonstrate that our fully-convolutional model with temporal aggregation method is effective. TASED-Net significantly outperforms previous state-of-the-art approaches on all three major large-scale datasets of video saliency detection: DHF1K, Hollywood2, and UCFSports. After analyzing the results qualitatively, we observe that our model is especially better at attending to salient moving objects.

연구 동기 및 목표

• 기존 영상 샐리언시 모델이 공간 정보와 시간 정보를 별도로 처리하거나 LSTMs와 같은 순환 단위를 통해 처리하는 데서 비롯되는 한계를 해결하기 위해.
• 공간적 및 시간적 특징을 동시에 모델링할 수 있는 완전 컨볼루션 아키텍처를 개발하여 샐리언시 예측 성능을 향상시키기 위해.
• 디코더의 업스케일링 과정에서 max-unpooling 레이어의 시간적 수용 영역이 불일치하는 문제를 해결하기 위해.
• 제한된 수의 과거 프레임에 조건을 두는 것이 영상 샐리언시 예측에 충분하고 효과적인지 검증하기 위해.
• LSTM 기반 순차 처리 방식에 비해 공간-시간 동시 모델링이 영상 샐리언시 감지에서 더 우수한 성능을 내는지 보여주기 위해.

제안 방법

• 클립의 T개의 연속 프레임에서 저해상도 공간-시간 특징을 추출하기 위해 Kinetics에서 사전 훈련된 S3D를 인코더로 사용한다.
• 예측 네트워크는 전치 컨볼루션과 max-unpooling 레이어를 통해 공간적 확대를 수행하며, 보조 풀링이 시간 재구성에 적절한 크기의 스위치를 제공한다.
• 보조 풀링은 시간 차원을 감소시킨 추가적인 max-pooling을 도입하여 max-unpooling 레이어에 유효한 스위치를 생성함으로써, 풀링과 언풀링 간의 시간적 범위 불일치 문제를 해결한다.
• 슬라이딩 윈도우 추론 전략을 사용하여 입력 클립당 하나의 샐리언시 맵을 예측함으로써 전체 영상에서 개별 프레임 기반의 샐리언시 예측이 가능하다.
• LSTM과 같은 순환 단위를 피하고, 공간 복원과 시간 집계 정보를 동시에 처리하기 위해 완전 컨볼루션 연산을 사용한다.
• 표준 평가 지표인 NSS, CC, SIM, AUC-J, s-AUC를 사용하여 세 개의 대규모 데이터셋에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 네트워크가 공간 복원과 시간 집계를 동시에 수행하여 LSTM 기반 방법을 뛰어넘는 영상 샐리언시 감지 성능을 향상시킬 수 있는가?
• RQ2 고정된 수의 과거 프레임에 조건을 두는 것이 효과적인가? 최적의 윈도우 크기는 무엇인가?
• RQ3 시간적 수용 영역이 불일치할 경우 3D 디코더에서 max-unpooling 레이어를 효과적으로 사용할 수 있는가?
• RQ4 제안된 보조 풀링 메커니즘이 보간법이나 전치 컨볼루션과 같은 표준 업샘플링 방법보다 우수한가?
• RQ5 공간-시간 동시 모델링이 이전 방법들에 비해 움직이는 주목할 만한 객체에 더 잘 집중하는가?

주요 결과

• TASED-Net는 DHF1K, Hollywood2, UCFSports 세 가지 벤치마크 데이터셋에서 모두 최고 성능을 기록하였으며, DHF1K에서 평균 NSS가 2.706을 기록했다.
• 이전 최고 성능 모델들을 뛰어넘어, DHF1K에서 다음으로 우수한 모델 대비 NSS에서 0.122 향상된 성능을 달성했다.
• T=32 프레임(약 1초의 영상)을 사용한 TASED-Net가 최고의 성능을 기록하여, 고정된 과거 프레임 윈도우가 최적의 샐리언시 예측에 충분함을 시사한다.
• 보조 풀링은 추론 실험에서 삼선형 보간법과 전치 컨볼루션 모두를 능가하며, 그 필요성과 효과성을 입증했다.
• 더 깊은 공간 복원(더 많은 전치 컨볼루션 레이어)을 추가하면 성능이 약간 저하됨을 확인하여, 샐리언시 예측에 있어서 정밀한 공간 재구성이 분류 작업과는 달리 더 중요한 요소가 아님을 시사한다.
• 윈도우 당 여러 개의 샐리언시 맵을 예측하는 것은 성능 저하를 초래함을 확인하여, 시간 집계와 함께 단일 맵 예측이 더 효과적임을 확인했다.