[논문 리뷰] Where and When to Look? Spatio-temporal Attention for Action Recognition in Videos

Lili Meng, Bo Zhao외 4명|arXiv (Cornell University)|2018. 09. 27.

Human Pose and Action Recognition참고 문헌 31인용 수 8

한 줄 요약

이 논문은 행동 인식을 위해 비디오에서 주목할 만한 공간적 영역과 중요한 시간적 프레임에 동적으로 초점을 맞추는 분리 가능한 시공간 주의 메커니즘을 제안한다. 공간적 주목성 마스크와 일관성 정규화를 갖춘 연속적인 시간 주의를 학습함으로써, 프레임 수준 또는 바운딩 박스 애너테이션 없이 비디오 수준의 레이블만을 사용하여 Moments in Time을 포함한 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Inspired by the observation that humans are able to process videos efficiently by only paying attention when and where it is needed, we propose a novel spatial-temporal attention mechanism for video-based action recognition. For spatial attention, we learn a saliency mask to allow the model to focus on the most salient parts of the feature maps. For temporal attention, we employ a soft temporal attention mechanism to identify the most relevant frames from an input video. Further, we propose a set of regularizers that ensure that our attention mechanism attends to coherent regions in space and time. Our model is efficient, as it proposes a separable spatio-temporal mechanism for video attention, while being able to identify important parts of the video both spatially and temporally. We demonstrate the efficacy of our approach on three public video action recognition datasets. The proposed approach leads to state-of-the-art performance on all of them, including the new large-scale Moments in Time dataset. Furthermore, we quantitatively and qualitatively evaluate our model's ability to accurately localize discriminative regions spatially and critical frames temporally. This is despite our model only being trained with per video classification labels.

연구 동기 및 목표

• 비디오 행동 인식을 위해 공간적으로 주목할 만한 영역과 시간적으로 중요한 프레임을 동시에 식별할 수 있는 효율적이고 종단 간 훈련 가능한 주의 메커니즘을 개발하는 것.
• 프레임 수준 또는 바운딩 박스 애너테이션 없이도 분류에 기여하는 시공간 영역을 국소화할 수 있도록, 비디오 수준의 감독 문제를 해결하는 것.
• 새로운 정규화 기법을 통해 공간과 시간 간의 주의 일관성을 확보하여 분할되거나 일관성 없는 주의 지도를 방지하는 것.
• 인간의 시각 주의를 모방하여 계산 자원을 가장 정보가 풍부한 비디오 부분에 집중시킴으로써 인식 정확도를 향상시키는 것.

제안 방법

• 모델은 특징 맵 위에 학습 가능한 주목성 마스크를 생성하는 공간 주의 메커니즘을 사용하여 가장 관련성이 높은 공간적 영역을 강조한다.
• 소프트 시간 주의 메커니즘이 행동 분류에 기여하는 바가 큰 프레임을 입력 비디오 시퀀스에서 선택한다.
• 주의 메커니즘은 분리 가능하도록 설계되었으며, 공간 주의와 시간 주의가 독립적으로 계산되지만 공동 최적화된다.
• 공간적 및 시간적 일관성을 주의 지도에 강제하기 위해 일관성 정규화 기법이 도입된다.
• 전체 아키텍처는 프레임 수준 또는 바운딩 박스 애너테이션 없이 비디오 수준의 분류 레이블만을 사용하여 종단 간 훈련된다.
• 이 방법은 백본 CNN으로부터 추출된 비디오 특징에 적용되며, 최종 분류 레이어 이전에 주의 메커니즘이 적용된다.

실험 결과

연구 질문

• RQ1 비디오 수준의 레이블만으로도 통합적이고 효율적인 주의 메커니즘이 공간적으로 주목할 만한 영역과 시간적으로 중요한 프레임을 효과적으로 국소화할 수 있는가?
• RQ2 기존의 주의 메커니즘과 비교해 볼 때, 제안된 시공간 주의 메커니즘은 표준 벤치마크에서 정확도와 국소화 정밀도 측면에서 어떻게 성능을 내는가?
• RQ3 제안된 정규화 기법이 강한 감독 없이 주의 일관성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 약한 감독 하에서 Moments in Time과 같은 대규모이고 다양한 데이터셋에서 모델이 최신 기술 수준 성능을 달성하는가?
• RQ5 명시적인 국소화 애너테이션 없이도 모델이 정확하게 분류에 기여하는 영역과 프레임을 국소화할 수 있는가?

주요 결과

• 제안된 방법은 Moments in Time을 포함한 세 가지 공개 비디오 행동 인식 데이터셋에서 최신 기술 수준 성능을 달성한다.
• 프레임 수준 또는 바운딩 박스 애너테이션 없이 비디오 수준의 레이블만으로도 분류에 기여하는 공간적 영역과 중요한 시간적 프레임을 높은 정확도로 국소화한다.
• 주의 메커니즘이 정량적·정성적 검증을 통해 일관되고 의미 있는 시공간 영역을 성공적으로 식별한다.
• 일관성 정규화 기법의 사용으로 주의 지도의 품질이 크게 향상되어 분할되거나 노이즈가 많은 주의 패턴이 감소한다.
• 분리 가능한 시공간 주의 메커니즘은 더 복잡한 주의 설계를 가진 모델들보다도 높은 효율성을 유지하면서도 성능을 뛰어넘는다.
• 약한 감독 하에서도 다양한 행동 클래스와 비디오 분포에 대해 강력한 일반화 능력을 보이며, 뛰어난 성능을 유지한다.