[논문 리뷰] Attention Clusters: Purely Attention Based Local Feature Integration for Video Classification

Xiang Long, Chuang Gan외 4명|arXiv (Cornell University)|2017. 11. 27.

Human Pose and Action Recognition참고 문헌 30인용 수 18

한 줄 요약

이 논문은 순수하게 어텐션 기반의 프레임워크인 Attention Clusters를 제안하며, 시간적 모델링에 의존하지 않고 국소적 비디오 특징을 통합한다. 학습 가능한 어텐션 클러스터와 이동 연산을 통해 특징의 다양성을 향상시켜, Kinetics에서 최상의 성능을 기록한다—단일 모델 기준으로 top-1 정확도 79.4%, top-5 정확도 94.0%를 달성하며 강력한 베이스라인을 초월하고 2017년 ActivityNet Kinetics 챌린지에서 우승을 차지했다.

ABSTRACT

Recently, substantial research effort has focused on how to apply CNNs or RNNs to better extract temporal patterns from videos, so as to improve the accuracy of video classification. In this paper, however, we show that temporal information, especially longer-term patterns, may not be necessary to achieve competitive results on common video classification datasets. We investigate the potential of a purely attention based local feature integration. Accounting for the characteristics of such features in video classification, we propose a local feature integration framework based on attention clusters, and introduce a shifting operation to capture more diverse signals. We carefully analyze and compare the effect of different attention mechanisms, cluster sizes, and the use of the shifting operation, and also investigate the combination of attention clusters for multimodal integration. We demonstrate the effectiveness of our framework on three real-world video classification datasets. Our model achieves competitive results across all of these. In particular, on the large-scale Kinetics dataset, our framework obtains an excellent single model accuracy of 79.4% in terms of the top-1 and 94.0% in terms of the top-5 accuracy on the validation set. The attention clusters are the backbone of our winner solution at ActivityNet Kinetics Challenge 2017. Code and models will be released soon.

연구 동기 및 목표

• 표준 데이터셋에서 비디오 분류에 장기적인 시간 패턴이 필수적인가를 조사하는 것.
• RNN이나 CNN을 시간적 모델링에 사용하지 않고도 국소적 비디오 특징을 통합할 수 있는 순수하게 어텐션 기반의 방법을 개발하는 것.
• 순서 없는, 유사한, 국소적으로 식별 가능한 특징을 자연스럽게 처리할 수 있는 어텐션 기반 메커니즘을 활용해 특징 통합을 향상시키는 것.
• 어텐션 클러스터링 메커니즘에 새로운 이동 연산을 도입하여 표현의 다양성을 높이는 것.
• 단일 모odal 및 다중 모달 비디오 분류 작업 전반에서 경쟁적인 성능을 달성하는 것.

제안 방법

• 모델은 비디오 프레임에서 추출한 국소적 특징을 주의 집합으로 다룰 수 있도록 학습 가능한 쿼리 벡터를 사용한다.
• 각 클러스터는 스케일된 도트곱 어텐션 메커니즘을 통해 국소적 특징의 가중 평균을 계산하여 중복되거나 유사한 특징을 통합한다.
• 클러스터링 이전에 특징 위치를 순환시켜 다양성을 증가시키고 모델 일반화 능력을 향상시키기 위해 이동 연산을 도입한다.
• RGB, 옵티컬 플로우, 오디오 특징에 대해 별도의 어텐션 클러스터를 적용한 후 융합함으로써 다중 모달 통합을 지원한다.
• 어텐션 메커니즘은 순서가 없는 국소적 특징 집합에 적용되어 시간 순서의 뒤섞임에 강건하며 통합된 비디오 표현에 적합하다.
• 교차 엔트로피 손실을 사용해 엔드 투 엔드로 학습되며, 이동 연산을 적용함으로써 수렴 속도가 빨라진다.

실험 결과

연구 질문

• RQ1 장기적인 시간적 의존성을 모델링하지 않더라도 비디오 분류 성능이 경쟁 가능할 수 있는가?
• RQ2 순수하게 어텐션 기반의 국소적 특징 통합 메커니즘이 비디오 분류에 얼마나 효과적인가?
• RQ3 이동 연산이 어텐션 클러스터의 다양성과 모델 정확도에 어떤 영향을 미치는가?
• RQ4 다양한 클러스터 크기와 어텐션 메커니즘이 다양한 모달 간 성능에 어떤 영향을 미치는가?
• RQ5 동일한 국소적 특징을 사용할 때 어텐션 클러스터가 기존의 융합 방법을 능가할 수 있는가?

주요 결과

• 제안된 Attention Clusters 프레임워크는 Kinetics 검증 세트에서 79.4%의 top-1 정확도와 94.0%의 top-5 정확도를 기록하여 단일 모델 기준으로 새로운 최신 기술 수준(SOTA)을 수립했다.
• 이동 연산을 통해 특징 다양성이 향상되어 학습 안정성과 정확도가 크게 향상되었으며, 특히 더 큰 클러스터 크기에서 두드러진 효과를 보였다.
• 이동 연산을 적용한 결과, RGB에 대해 TSN 기반 특징보다 2.0% 높은 top-1 정확도, 플로우에 대해 1.5%, 오디오에 대해 2.6% 높은 정확도를 달성했다.
• 최적의 다중 모달 융합은 RGB에 64개의 클러스터, 플로우와 오디오에 각각 32개의 클러스터를 사용하여 UCF101에서 94.6%의 정확도, HMDB51에서 69.2%의 정확도를 기록했다.
• UCF101, HMDB51, Kinetics에서 여러 강력한 베이스라인 및 최신 기술 수준의 방법(이중 및 삼중 스트림 융합 네트워크 포함)을 초월하는 성능을 보였다.
• Flash–MNIST에 대한 시각화 결과, 어텐션 클러스터가 부적절한 중복 특징을 억제하고 핵심적인 정보를 담고 있는 국소적 특징에 효과적으로 집중하는 것으로 확인되었다.