[논문 리뷰] Simple vs complex temporal recurrences for video saliency prediction

Panagiotis Linardos, Eva Mohedano외 4명|arXiv (Cornell University)|2019. 07. 03.

Visual Attention and Saliency Detection참고 문헌 26인용 수 26

한 줄 요약

이 논문은 영상 색소니티 예측을 위해 두 가지 시간적 반복 메커니즘—ConvLSTM과 단순한 지수이동평균(EMA)—을 제안하며, 경량 EMA가 더 복잡한 ConvLSTM과 유사한 최고 성능을 달성함을 입증한다. 단일 학습 가능한 파라미터로 내부 특징을 시간에 따라 스무딩하는 EMA 방법은 DHF1K와 할리우드-2에서 ConvLSTM을 뛰어넘거나 동등하게 성능을 내며, 색소니티 모델링에 복잡한 RNN 아키텍처가 반드시 필요하지 않음을 시사한다.

ABSTRACT

This paper investigates modifying an existing neural network architecture for static saliency prediction using two types of recurrences that integrate information from the temporal domain. The first modification is the addition of a ConvLSTM within the architecture, while the second is a conceptually simple exponential moving average of an internal convolutional state. We use weights pre-trained on the SALICON dataset and fine-tune our model on DHF1K. Our results show that both modifications achieve state-of-the-art results and produce similar saliency maps. Source code is available at https://git.io/fjPiB.

연구 동기 및 목표

• 더 단순한 시간적 반복 메커니즘이 영상 색소니티 예측에서 복잡한 RNN을 따라하거나 뛰어넘을 수 있는지 조사하기 위해.
• 딥 네ural 네트워크 내부에서 경량 지수이동평균(EMA)을 시간적 반복 메커니즘으로서의 효과성을 평가하기 위해.
• 영상 색소니티의 시간적 동역학을 모델링하기 위해 ConvLSTM과 같은 복잡한 아키텍처가 반드시 필요하다는 가정을 도전하기 위해.
• 이 작업에서 EMA와 ConvLSTM 간의 功能적 유사성과 성능 차이에 대한 경험적 및 아블레이션 기반 증거를 제공하기 위해.
• 성능 향상 외에도 모델 행동을 더 잘 이해하기 위해 단순하고 해석 가능한 함수를 아블레이션 연구에 활용할 것을 주장하기 위해.

제안 방법

• 스пат이옠테임포럴 의존성을 포착하기 위해 사전 훈련된 정적 색소니티 모델에 ConvLSTM 레이어를 추가한다.
• 지수이동평균(EMA)의 새로운 응용을 도입하여 내부 컨볼루션 특징를 반복적으로 갱신한다: $ E_t = \alpha S_t + (1 - \alpha) E_{t-1} $, 여기서 $ S_t $는 현재 특징 맵이고 $ \alpha $는 학습 가능한 또는 고정된 하이퍼파라미터이다.
• SALICON에서의 사전 훈련된 가중치를 사용하여 DHF1K 데이터셋에서 미세조정하여 일반화 성능을 향상시킨다.
• 학습 가능한 $ \alpha $ 파라미터를 사용하여 EMA 모델을 훈련하며, 볼록 조합을 보장하기 위해 시그모이드를 통해 제약을 가한다: $ \alpha = \sigma(p) $, 여기서 $ p $는 학습 가능한 파라미터이다.
• DHF1K 및 할리우드-2 검증 세트에서 표준 지표(NSS, CC, AUC-J, s-AUC, SIM)를 사용해 두 모델을 비교한다.
• 성능 차이가 큰 영상 샘플에 대해 정성적 분석을 수행하여 실패 모드와 진짜 레이블의 편향을 이해한다.

실험 결과

연구 질문

• RQ1 단순한 지수이동평균(EMA) 반복이 영상 색소니티 예측에서 ConvLSTM과 유사한 성능을 달성할 수 있는가?
• RQ2 다양한 영상 콘텐츠에서 EMA와 ConvLSTM이 생성한 색소니티 맵은 공간적·시간적 일관성 측면에서 어떻게 다를까?
• RQ3 EMA 메커니즘은 ConvLSTM과 동일한 기능을 근사하는가, 아니면 근본적으로 다른 시간적 통합 전략을 학습하는가?
• RQ4 EMA 모델은 스무딩 파라미터 $ \alpha $ 의 선택에 얼마나 민감한가? 그리고 $ \alpha $ 를 엔드 투 엔드로 학습하면 성능 향상이 이루어지는가?
• RQ5 진짜 레이블 애너테이션의 편향(예: 중심 집중형 가우시안)이 EMA와 ConvLSTM 간 상대적 성능에 어느 정도 影響을 미치는가?

주요 결과

• EMA 기반 모델(SalEMA)은 DHF1K 검증 세트에서 최고 성능을 기록했으며, NSS = 2.495 및 AUC-J = 0.886를 기록하여 ConvLSTM 기준선과 동등하거나 略적으로 뛰어났다.
• SalEMA의 성능은 하이퍼파라미터 $ \alpha $ 에 대해 매우 안정적이며, $ \alpha \in \{0.05, 0.1, 0.2, 0.3\} $ 범위 내에서 성능 저하가 최소한이었다.
• 학습 가능한 $ \alpha $ 로 설정했을 때 모델은 $ \alpha \approx 0.1477 $ 로 수렴하며, 최고의 고정 $ \alpha $ 설정 수준과 동등한 성능을 달성했다.
• 정성적 분석 결과, SalEMA는 일부 영상에서 얼굴과 같은 주목할 만한 객체를 더 잘 포착하는 반면, SalCLSTM은 특히 중심에 가우시안 진짜 레이블이 있는 영상에서 중심에 집중하는 경향을 보였다.
• 짧은 또는 단일 프레임 클립을 포함한 할리우드-2 데이터셋에서는 SalCLSTM이 SalEMA보다 약 4 NSS 포인트 높은 성능을 보였으며, 이는 EMA가 급작스럽거나 짧은 지속 시간의 주목할 만한 이벤트를 다루는 데 어려움을 겪을 수 있음을 시사한다.
• 비록 전체 성능가 유사하지만, 일부 경우에서 두 모델은 상이한 색소니티 맵을 생성했으며, 이는 EMA와 ConvLSTM이 출력 점수는 유사하더라도 학습된 기능이 동일하지 않음을 의미한다.