[논문 리뷰] Joint Network based Attention for Action Recognition

Yemin Shi, Yonghong Tian외 2명|arXiv (Cornell University)|2016. 11. 16.

Human Pose and Action Recognition참고 문헌 4인용 수 4

한 줄 요약

이 논문은 두 개의 스트림을 가진 컨볼루션 네트워크를 향상시키기 위해 훈련 중에 제약된 소프트맥스 게이팅 연결을 통해 교차 스트림 정보 공유를 가능하게 하는 연합 네트워크 기반 주의( Joint Network-based Attention, JNA) 모델을 제안한다. 또한 시간 주의 메커니즘을 도입하여 주요 프레임을 식별한다. 이 방법은 최신 기술 수준의 성능을 달성하여 기준 두 개의 스트림 모델 대비 HMDB51에서 8.5% 향상되고 UCF101에서 1% 향상된다.

ABSTRACT

By extracting spatial and temporal characteristics in one network, the two-stream ConvNets can achieve the state-of-the-art performance in action recognition. However, such a framework typically suffers from the separately processing of spatial and temporal information between the two standalone streams and is hard to capture long-term temporal dependence of an action. More importantly, it is incapable of finding the salient portions of an action, say, the frames that are the most discriminative to identify the action. To address these problems, a extbf{j}oint extbf{n}etwork based extbf{a}ttention (JNA) is proposed in this study. We find that the fully-connected fusion, branch selection and spatial attention mechanism are totally infeasible for action recognition. Thus in our joint network, the spatial and temporal branches share some information during the training stage. We also introduce an attention mechanism on the temporal domain to capture the long-term dependence meanwhile finding the salient portions. Extensive experiments are conducted on two benchmark datasets, UCF101 and HMDB51. Experimental results show that our method can improve the action recognition performance significantly and achieves the state-of-the-art results on both datasets.

연구 동기 및 목표

• 비디오에서 장기적인 시간적 의존성을 포착하고, 차별적인 프레임을 식별하는 데에 두 개의 스트림 컨볼루션 네트워크의 한계를 해결하기 위해.
• 공동 훈련 중에 공간 스트림이 시간 스트림을 지배하는 '한 개의 스트림이 지배하는 네트워크' 문제를 극복하기 위해.
• 과적합이나 성능 저하 없이 공간 및 시간 브랜치 간의 효과적인 정보 교환을 가능하게 하는 메커니즘을 개발하기 위해.
• 행동 인식을 위한 가장 정보가 많은 프레임을 강조하는 시간 주의 메커니즘을 도입하기 위해.
• 연합 훈련과 주의 기반의 프레임 선택을 통합하여 기준 데이터셋에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• JNA 모델은 공간 스트림과 시간 스트림이 훈련 중에 소프트맥스 게이팅 연결을 통해 정보를 공유하는 연합 네트워크 구조를 사용하며, 정보 흐름을 중요한 특징들로 제한한다.
• 장기적인 시간 의존성을 모델링하고 시퀀스 내에서 주목할 만한 프레임에 더 높은 가중치를 할당하기 위해 GRU를 사용한 시간 주의 메커니즘이 적용된다.
• 주의 가중치는 소프트맥스 레이어 이전에 계산되며, 이는 네트워크가 행동 분류에 가장 차별적인 프레임을 학습할 수 있도록 한다.
• 절단 없는 풀 컨넥티드 퓨전, 브랜치 선택, 공간 주의와 같은 방법들은 추론 실험을 통해 비현실적임이 밝혀져 도입되지 않았다.
• 네트워크는 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 최종 예측은 양쪽 스트림의 주의 가중치가 부여된 특징을 융합하여 이루어진다.
• 시간 스트림에 광학 흐름 입력을 사용함으로써 운동 변화에 더 강건한, JNA의 왜곡된 버전도 도입되었다.

실험 결과

연구 질문

• RQ1 공간 스트림과 시간 스트림 간에 게이팅된 정보 흐름이 있는 연합 네트워크 구조가 표준 두 개의 스트림 모델을 초월하여 행동 인식을 향상시킬 수 있는가?
• RQ2 시간 주의 메커니즘을 도입함으로써 장기적인 시간적 모델링이 향상되고, 비디오 내에서 가장 차별적인 프레임을 식별하는 데 도움이 되는가?
• RQ3 왜 풀 컨넥티드 퓨전, 브랜치 선택, 공간 주의 메커니즘은 행동 인식 맥락에서 실패하는가? 그리고 이러한 단점은 어떻게 보완할 수 있는가?
• RQ4 기존의 최신 기술 수준의 방법들과 비교했을 때, 제안된 JNA 모델이 어려운 기준 데이터셋인 HMDB51과 UCF101에서 성능을 얼마나 향상시키는가?
• RQ5 JNA의 주의 메커니즘이 네트워크가 관련 없는 프레임을 걸러내고 행동에 중요한 세그먼트에 집중하는 데에 얼마나 효과적인가?

주요 결과

• JNA는 HMDB51에서 66.9%의 top-1 정확도와 UCF101에서 91.2%의 정확도를 기록하여 기준 두 개의 스트림 모델 대비 각각 8.5%와 1% 향상되었다.
• 이 방법은 더 긴 비디오 시퀀스가 있는 HMDB51에서 성능 향상이 뚜렷했으며, 주목할 만한 프레임을 식별함으로써 더 큰 이점을 얻었다. 반면 UCF101의 짧은 비디오 시퀀스에서는 그 효과가 덜 두드러졌다.
• 다른 주의 기반 방법들, 예를 들어 다중 브랜치 주의(61.7% on HMDB51)와 소프트 주의(41.3%)보다 JNA가 뛰어난 성능을 보이며 그 효과를 입증했다.
• 주의 가중치의 시각화 결과 JNA는 후행 프레임에 더 높은 가중치를 할당하는 것으로 나타났으며, 이는 GRU의 기억 용량과 일치하여 장기적인 의존성을 학습할 수 있음을 확인했다.
• 시각화에서 원으로 표시된 음성 주의 가중치는 JNA가 행동의 시작을 감지하고 관련 없는 초기 프레임을 걸러낼 수 있음을 보여준다.
• 왜곡된 JNA 버전은 HMDB51에서 66.3%, UCF101에서 90.0%의 성능을 기록했으며, 표준 JNA와 결합하면 HMDB51에서 68.8%, UCF101에서 91.5%의 성능을 기록하여 데이터 증강을 통한 추가 향상이 가능함을 보였다.