[논문 리뷰] GTA: Global Temporal Attention for Video Action Understanding

Bo He, Xitong Yang외 4명|arXiv (Cornell University)|2020. 12. 15.

Human Pose and Action Recognition참고 문헌 52인용 수 15

한 줄 요약

이 논문은 전역 시간 주의 집중(Global Temporal Attention, GTA)을 제안한다. GTA는 프레임 간 시간적 관계를 명시적으로 모델링하기 위해 전역적이고 인스턴스에 의존하지 않는 주의 행렬을 학습함으로써, 픽셀 수준과 의미적 영역 수준에서 동시에 적용되는 분리된 주의 메커니즘을 제공한다. 기존 방법에 비해 쌍별 프레임 상호작용에 의존하지 않고도 시간 모델링을 향상시켜, 최소한의 계산 비용으로 세 가지 비디오 행동 인식 벤치마크에서 최고 성능(SOTA)을 달성한다.

ABSTRACT

Self-attention learns pairwise interactions to model long-range dependencies, yielding great improvements for video action recognition. In this paper, we seek a deeper understanding of self-attention for temporal modeling in videos. We first demonstrate that the entangled modeling of spatio-temporal information by flattening all pixels is sub-optimal, failing to capture temporal relationships among frames explicitly. To this end, we introduce Global Temporal Attention (GTA), which performs global temporal attention on top of spatial attention in a decoupled manner. We apply GTA on both pixels and semantically similar regions to capture temporal relationships at different levels of spatial granularity. Unlike conventional self-attention that computes an instance-specific attention matrix, GTA directly learns a global attention matrix that is intended to encode temporal structures that generalize across different samples. We further augment GTA with a cross-channel multi-head fashion to exploit channel interactions for better temporal modeling. Extensive experiments on 2D and 3D networks demonstrate that our approach consistently enhances temporal modeling and provides state-of-the-art performance on three video action recognition datasets.

연구 동기 및 목표

• 기존 자기 주의(self-attention)의 한계를 해결하기 위해, 공간과 시간 모델링이 뒤섞여 있고 외관 유사성에 치우쳐 있는 비디오 행동 인식에서의 문제를 해결한다.
• 점곱 자기 주의의 시간 모델링에 최적성 여부를 탐구한다. 특히 순열 불변성과 인스턴스별 주의 가중치의 특성을 고려하여 분석한다.
• 시간 모델링을 향상시키기 위해, 샘플 간 일반화 가능한 전역적이고 작업에 특화된 주의 행렬을 학습함으로써 쌍별 프레임 상호작용에 의존하지 않는다.
• 픽셀과 의미적으로 유사한 영역(초픽셀)을 포함한 다수준 공간 해상도를 적용하여 시간 관계를 다각도로 파악한다.
• 채널 간 상호작용을 활용하는 채널 간 다중헤드 주의를 도입하여 시간 모델링을 향상시킨다.

제안 방법

• 스패티오-시간 자기 주의를 두 단계로 분리한다. 첫 번째로 각 프레임 내에서 표준 자기 주의를 적용하여 공간 모델링을 수행하고, 두 번째로 GTA를 통해 전역적인 시간 주의를 프레임 간에 적용한다.
• 다양한 비디오 샘플 간 일반화 가능한 시간적 구조를 캡처하는 전역적이고 인스턴스에 의존하지 않는 주의 행렬을 학습하여, 인스턴스별 쌍별 상호작용을 피한다.
• 픽셀 수준과 영역 수준(초픽셀)에 모두 GTA를 적용하여 다중 공간 해상도에서 시간적 관계를 포착한다.
• 채널 차원을 따라 특징 맵을 그룹으로 나누는 채널 간 다중헤드 메커니즘을 도입하여, 각 헤드가 입력의 서로 다른 측면에 집중할 수 있도록 한다.
• 랜덤으로 초기화된 학습 가능한 전역 주의 행렬을 사용하며, 이는 엔드 투 엔드로 훈련되어 행동 인식에 핵심적인 키 프레임을 주의 집중하도록 한다.
• 픽셀 수준과 영역 수준의 GTA를 채널 간 다중헤드 주의와 융합하면 성능 향상이 뚜렷해지며, 특히 그룹 수가 8일 경우 최적의 성능을 보인다.

실험 결과

연구 질문

• RQ1 표준 자기 주의에서 공간과 시간 정보의 뒤섞인 모델링이 비디오 행동 인식에 최적화되어 있지 않은가?
• RQ2 시간 모델링에서 인스턴스에 의존하지 않는 전역 주의 행렬이 인스턴스별 쌍별 주의보다 샘플 간 일반화에 더 효과적인가?
• RQ3 공간과 시간 주의를 분리함으로써 외관 유사성에 대한 편향을 줄여 성능 향상이 가능한가?
• RQ4 픽셀과 영역 수준의 다중 공간 해상도에서 시간 관계를 모델링하면 행동 인식 성능 향상이 가능한가?
• RQ5 채널 간 다중헤드 주의가 전역 주의 집중 메커니즘에서 시간 모델링 향상에 기여하는가?

주요 결과

• GTA는 세 가지 비디오 행동 인식 벤치마크에서 최고 성능(SOTA)을 달성한다: SSv1(49.6%), SSv2(54.8%), Kinetics-400(83.4%)이며, 계산 비용은 최소한이다.
• 픽셀 수준의 GTA만으로도 위치 인코딩이 적용된 시간 자기 주의(TAPE)보다 SSv1에서 0.5% 높은 성능을 기록하여, 시간 순서 모델링에서 뛰어난 효과를 입증한다.
• 의미적 영역(Region GTA)에 GTA를 적용할 경우 픽셀 단독 적용보다 더 큰 성능 향상을 얻는다. 특히 채널 간 다중헤드 주의(CCMH)를 결합할 경우 1.0% 향상되며, CCMH 없이 적용할 경우 0.3% 향상된다.
• 채널 간 다중헤드 주의의 그룹 수가 8일 경우 SSv1과 SSv2에서 최적의 성능을 보이며, 그룹 수가 더 커지면 그룹당 채널 수가 부족해져 성능이 저하된다.
• GTA를 포함한 분리된 프레임워크는 기존 비디오 블록과 그 변형(예: CGNL, GCNet)보다 뚜렷한 성능 향상을 보이며, 이는 공간-시간-채널 모델링이 뒤섞여 있기 때문이다.
• 시간 자기 주의에서의 위치 인코딩은 성능을 9.6% 향상시키지만, GTA는 여전히 이를 뛰어넘어, 위치 정보에 의존하지 않고도 시간 순서를 효과적으로 포착할 수 있음을 확인한다.