[논문 리뷰] Action Recognition using Visual Attention

Shikhar Sharma, Ryan Kiros외 1명|arXiv (Cornell University)|2015. 11. 12.

Human Pose and Action Recognition참고 문헌 33인용 수 359

한 줄 요약

이 논문은 LSTMs를 사용한 소프트 어텐션 기반 순환 신경망을 제안하여 비디오 프레임 내에서 관련 있는 공간적 및 시간적 영역에 동적으로 집중함으로써 비디오 동작 인식을 향상시킨다. 모델은 액터, 물체, 동작과 같은 핵심 시각적 요소에 선택적으로 주목함으로써 UCF-11, HMDB-51, Hollywood2 데이터셋에서 정확도와 해석 가능성 모두 향상시키며, 비어텐션 기반 베이스라인보다 뛰어난 성능을 보인다.

ABSTRACT

We propose a soft attention based model for the task of action recognition in videos. We use multi-layered Recurrent Neural Networks (RNNs) with Long Short-Term Memory (LSTM) units which are deep both spatially and temporally. Our model learns to focus selectively on parts of the video frames and classifies videos after taking a few glimpses. The model essentially learns which parts in the frames are relevant for the task at hand and attaches higher importance to them. We evaluate the model on UCF-11 (YouTube Action), HMDB-51 and Hollywood2 datasets and analyze how the model focuses its attention depending on the scene and the action being performed.

연구 동기 및 목표

• 비디오 프레임 내에서 관련 있는 공간적 및 시간적 영역에 모델이 선택적으로 집중할 수 있도록 하여 비디오 동작 인식을 향상시키는 것.
• 백프로파게이션을 통해 훈련이 가능하고 딥 RNN 아키텍처에 통합할 수 있는 미분 가능하고 소프트 어텐션 메커니즘을 개발하는 것.
• 추론 중 모델이 어디에 주목하고 있는지 분석하고 시각화하여 동작 인식 결정의 해석 가능성을 향상시키는 것.
• 어텐션 기반 특징 풀링이 평균 풀링 또는 최대 풀링보다 동작 인식 작업에서 더 뛰어난 성능을 보이는지 증명하는 것.
• 실패 케이스를 조사하고, 전체 모델을 재학습하지 않고도 단지 구경 위치를 최적화하여 어텐션을 수정할 수 있는지 검토하는 것.

제안 방법

• 비디오 프레임에서 깊은 합성곱 특징을 추출하기 위해 GoogLeNet을 사용하여 크기가 D x H x W인 3차원 특징 큐브를 생성한다.
• 비디오의 공간적 및 시간적 의존성을 모델링하기 위해 다중 레이어를 가진 깊은 양방향 LSTM 네트워크를 활용한다.
• 특징 맵의 공간적 위치에 대해 미분 가능한 소프트max 레이어를 통해 소프트 어텐션 메커니즘을 적용하여 동적 구경(glimpse)을 생성한다.
• 각 구경에서 얻은 어텐션 특징을 사용하여 LSTM의 은닉 상태를 갱신하고 최종 동작 예측을 생성한다.
• 백프로파게이션 스트림을 통해 엔드 투 엔드 훈련이 가능한 미분 가능한 어텐션 메커니즘을 구현한다.
• 어 attention 가중치를 무작위로 초기화하고, 오직 구경 위치만을 미세조정하여 잘못된 분류를 수정함으로써 아블레이션 스터디를 수행한다.

실험 결과

연구 질문

• RQ1 RNN 기반 모델에 소프트 어텐션 메커니즘이 비어텐션 기반 베이스라인에 비해 동작 인식 성능을 향상시킬 수 있는가?
• RQ2 비디오 동작 인식 모델의 어텐션 메커니즘이 어디에 집중하는가? 이 집중 영역이 인간의 관련 동작 인식과 상관이 있는가?
• RQ3 다른 샘플링 속도나 비디오 콘텐츠(예: 빠른 속도 대비 느린 속도) 조건에서 모델의 어텐션 행동은 어떻게 변화하는가?
• RQ4 모델을 재학습하지 않고도 어텐션 맵을 구경 위치 최적화만으로 수정할 수 있는가?
• RQ5 어텐션 기반 동적 풀링이 평균 풀링 또는 최대 풀링보다 동작 인식에서 더 뛰어난 성능을 보이는가?

주요 결과

• 제안된 소프트 어텐션 모델은 평균 풀링 또는 최대 풀링을 사용하는 비어텐션 기반 베이스라인에 비해 UCF-11, HMDB-51, Hollywood2 데이터셋에서 뛰어난 성능을 기록한다.
• 모델은 '골프 스윙' 영상에서 백터, 공, 선수와 같은 의미적으로 관련 있는 영역에 주목하는 것을 학습한다. '트램폴린 점프' 클립에서는 트램폴린에 집중한다.
• 어떤 경우에서는 향후 발생할 동작 영역에 집중함으로써 행동을 사전에 예측하는 경우도 있다. 예를 들어, 키스가 일어나기 전에 두 사람 사이의 공간에 주목한다.
• 모델이 올바른 영역에 주목하지 못할 경우(예: '축구 볼링'에서 필드 경계에 집중), 어텐션 가중치만 최적화함으로써 잘못된 분류를 수정하고 정확한 분류를 달성할 수 있다.
• 모델는 프레임 속도 변화에 강건하다: 고속 시퀀스에서는 골프공과 같은 핵심 물체에 집중을 유지하지만, 화면이 흐리거나 흐리게 간격이 떨어져 있을 경우 운동을 따라가도록 적응한다.
• 어텐션 맵은 전경 및 배경 정보가 행동과 맥락에 따라 인식에 매우 중요할 수 있음을 드러낸다. 예를 들어, '푸쉬업'은 사람에 집중하여 인식할 수 있고, '테니스 스윙'은 라켓과 코트에 주목함으로써 인식된다.