[논문 리뷰] Hierarchical Attention Network for Action Recognition in Videos

Yilin Wang, Suhang Wang외 4명|arXiv (Cornell University)|2016. 07. 21.

Human Pose and Action Recognition참고 문헌 20인용 수 77

한 줄 요약

이 논문은 장기간의 시간적 의존성을 모델링하고 주목할 만한 영역에 집중하기 위해 이중 스트림 CNN과 계층적 LSTMs, 이중 공간-시간 주의 메커니즘을 결합한 계층적 주의 네트워크(HAN)를 제안한다. HAN은 UCF-101에서 92.7%의 정확도와 HMDB-51에서 64.3%의 정확도를 기록하여 최신 기술을 초월하며, 짧고 긴 운동 패tern을 명시적으로 포착하면서 주의 기반 특징 선택을 통해 노이즈 민감도를 감소시켜 성능을 향상시킨다.

ABSTRACT

Understanding human actions in wild videos is an important task with a broad range of applications. In this paper we propose a novel approach named Hierarchical Attention Network (HAN), which enables to incorporate static spatial information, short-term motion information and long-term video temporal structures for complex human action understanding. Compared to recent convolutional neural network based approaches, HAN has following advantages (1) HAN can efficiently capture video temporal structures in a longer range; (2) HAN is able to reveal temporal transitions between frame chunks with different time steps, i.e. it explicitly models the temporal transitions between frames as well as video segments and (3) with a multiple step spatial temporal attention mechanism, HAN automatically learns important regions in video frames and temporal segments in the video. The proposed model is trained and evaluated on the standard video action benchmarks, i.e., UCF-101 and HMDB-51, and it significantly outperforms the state-of-the arts

연구 동기 및 목표

• 변동하는 운동 속도, 시점, 배경 혼잡도를 가진 야생 영상에서 장기간의 시간적 의존성을 모델링하는 데 도전하는 것.
• 주목할 만한 영역에 대한 공간 주의와 중요한 영상 세그먼트에 대한 시간 주의를 동시에 학습하여 행동 인식을 향상시키는 것.
• 단기 운동 역학과 장기 행동 구조를 모두 포착하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하는 것.
• iDT와 같은 계산 비용이 큰 수작업 특징에 의존도를 줄이면서도 그 성능을 유지하거나 초월하는 것.
• 계층적 순환 구조와 소프트 주의 메커니즘이 비트리밍 영상에서 복잡한 인간 행동을 모델링하는 데 얼마나 효과적인지 입증하는 것.

제안 방법

• 모델은 RGB 프레임과 옵티컬 플로우를 별도로 처리하여 공간적 특징과 운동 특징을 추출하는 이중 스트림 CNN 아키텍처를 사용한다.
• 계층적 LSTM 아키텍처는 프레임 수준 및 세그먼트 수준의 특징을 처리하여 단기 전이와 장기 시간적 의존성을 모두 모델링할 수 있도록 한다.
• 소프트 공간-시간 주의 메커니즘은 프레임과 영상 세그먼트에 대해 주의 가중치를 계산하여 네트워크가 가장 정보적인 영역과 시간 간격에 동적으로 집중할 수 있도록 한다.
• 주의 가중치는 공간 및 시간 LSTM의 인코딩된 특징을 대상으로 하는 게이트드 메커니즘을 통해 계산되며, 이를 바탕으로 가중 평균 연산을 통해 특징 표현을 정밀화한다.
• 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련시키며, 주의 모듈은 LSTM 레이어에 통합되어 특징 학습을 안내한다.
• 효율성을 위해 옵티컬 플로우는 사전에 계산하여 저장하고, 추론 과정에서는 일관성을 유지하기 위해 고정 길이의 시간 윈도우를 사용한다.

실험 결과

연구 질문

• RQ1 계층적 주의 메커니즘이 영상에서 단기 운동 전이와 장기 행동 구조를 효과적으로 모델링할 수 있는가?
• RQ2 공간-시간 주의를 동시에 적용하면 주목할 만한 영역과 중요한 시간 세그먼트에 집중함으로써 행동 인식 성능이 향상되는가?
• RQ3 수작업 특징인 iDT의 계산 비용이 크다는 점을 감안할 때, 딥 러닝 프레임워크가 그 성능을 유지하거나 초월할 수 있는가?
• RQ4 표준 LSTMs에 비해 계층적 LSTM 아키텍처는 행동 시퀀스에서 장기간 의존성을 더 잘 포착할 수 있는가?
• RQ5 주의 메커니즘이 배경 혼잡도와 클래스 내 분산의 영향을 어느 정도 감소시키는가?

주요 결과

• HAN은 UCF-101에서 92.7%의 정확도와 HMDB-51에서 64.3%의 정확도를 기록하여, 이중 스트림 CNN 및 iDT 기반 모델을 포함한 최신 기술 모델을 크게 능가한다.
• 주의 메커니즘을 제거하면 UCF-101에서 정확도가 90.6%로 떨어지고, HMDB-51에서는 62.0%로 감소하여 주의 메커니즘이 특징 선택에 핵심적인 역할을 한다는 것을 입증한다.
• 표준 LSTMs에 비해 계층적 LSTM 아키텍처가 성능을 향상시켜, 표준 LSTMs의 40프레임 한계를 초월해 복잡한 장기 행동 시퀀스를 모델링할 수 있음을 보여준다.
• iDT 특징을 사용하지 않고도 옵티컬 플로우 입력만으로 HAN이 iDT 기반 모델의 성능을 충족하거나 초월함으로써, 학습된 주의 메커니즘이 조밀한 궤적 계산을 대체할 수 있음을 시사한다.
• 시각적 주의 분석 결과, HAN은 기존 주의 모델보다 더 정확하고 운동 관련 영역을 학습함을 확인했으며, 그림 4의 정성적 비교에서 이를 뒷받침한다.
• 공간적 특징과 시간적 특징을 결합하면 단일 모odal을 사용하는 것보다 더 높은 성능을 달성하여, 행동 인식에서 두 모달 간의 상호 보완성이 확인된다.