[논문 리뷰] Attention Distillation for Learning Video Representations

Miao Liu, Xin Chen외 3명|arXiv (Cornell University)|2019. 04. 05.

Human Pose and Action Recognition참고 문헌 17인용 수 6

한 줄 요약

이 논문은 RGB 프레임에서 흐름 네트워크의 주의 맵을 RGB 네트워크로 전달하여 운동 인식 비디오 표현을 학습하는 주의 흡수 기법을 제안한다. 이 방법은 UCF101, HMDB51, EGTEA, 20BN-V2 벤치마크에서 일관되게 +1%의 정확도 향상을 이끌어내며 최소한의 계산 비용으로도 성능을 확보하여 주의 맵이 비디오 인식에서 지식 흡수에 있어 강력한 수단임을 입증한다.

ABSTRACT

We address the challenging problem of learning motion representations using deep models for video recognition. To this end, we make use of attention modules that learn to highlight regions in the video and aggregate features for recognition. Specifically, we propose to leverage output attention maps as a vehicle to transfer the learned representation from a motion (flow) network to an RGB network. We systematically study the design of attention modules, and develop a novel method for attention distillation. Our method is evaluated on major action benchmarks, and consistently improves the performance of the baseline RGB network by a significant margin. Moreover, we demonstrate that our attention maps can leverage motion cues in learning to identify the location of actions in video frames. We believe our method provides a step towards learning motion-aware representations in deep models. Our project page is available at https://aptx4869lm.github.io/AttentionDistillation/

연구 동기 및 목표

• RGB 프레임만을 사용하는 비디오 모델에서 명시적인 흐름 계산 없이도 운동 인식 표현을 학습하는 데 도전하는 것.
• 추가적인 추론 비용 없이 단일 스트림 RGB 네트워크와 이중 스트림 모델(RGB + 흐름) 간의 성능 격차를 해소하는 것.
• 주의 맵이 비디오 인식에서 지식 흡수의 강력하고 작업에 민감한 매개체로 기능할 수 있는지 탐색하는 것.
• 단일 스트림 RGB 네트워크에서 외관과 운동 표현을 모두 유지하는 방법을 개발하는 것.
• 다양한 표준 비디오 행동 인식 벤치마크에서 주의 흡수의 효과성을 평가하는 것.

제안 방법

• 이 방법은 확률적 주의 모듈(Prob-Atten)을 사용하여 RGB 프레임에서 흐름 네트워크의 주의 맵을 모방하는 운동 민감도 주의 맵을 생성한다.
• 주의 흡수 기법은 학습 중에 RGB 네트워크의 주의 맵과 기준 흐름 네트워크의 주의 맵 간의 L2 손실을 최소화하여 지식을 전달한다.
• 흡수된 RGB 모델은 추론 시 외관과 운동 주의 맵을 동시에 예측하며, 오직 RGB 입력만을 사용한다.
• 이 방법은 주의 맵의 공간적 및 시간적 불변성을 활용하여 명시적인 광학 흐름 계산 없이도 운동 신호를 인코딩한다.
• 주의 맵에 균일 분포를 사용한 정규화 항을 적용하여 더 매끄럽고 강건한 주의 특징을 생성한다.
• 표준 I3D와 ResNeXt 백본을 사용하여 여러 데이터셋에서 평가하였으며, 주의 모듈 설계에 대한 분석 실험도 수행하였다.

실험 결과

연구 질문

• RQ1 흐름 네트워크의 주의 맵이 효과적으로 RGB 네트워크로 운동 지식을 전달할 수 있는가?
• RQ2 주의 흡수 기법이 전통적인 특징 흡수 기법보다 운동 인식 표현 학습에서 더 우수한가?
• RQ3 주의 흡수 기법을 사용한 단일 스트림 RGB 모델이 이중 스트림 모델 수준의 성능을 달성할 수 있는가?
• RQ4 다양한 주의 모듈 설계가 인식 정확도와 강건성에 어떤 영향을 미치는가?
• RQ5 흡수 과정에서 원래 RGB 특징이 덮어쓰이거나, 의미 있는 외관 표현이 유지되는가?

주요 결과

• 제안된 주의 흡수 기법은 UCF101, HMDB51, EGTEA, 20BN-V2 데이터셋에서 기준 RGB 네트워크의 정확도를 약 +1% 향상시켰다.
• 약한 교사 모델(I3D Flow)을 사용한 Prob-Distill은 UCF101에서 49.5%의 정확도를 기록하여 RGB 전용(49.1%) 및 흐름 전용(40.4%) 주의 기반 I3D 모델보다 뛰어난 성능을 보였다.
• 흡수된 RGB 모델을 기준 흐름 네트워크와 융합한 Prob-Distill + Flow I3D는 UCF101에서 이중 스트림 I3D 모델보다 0.5% 높은 정확도를 기록했으며, HMDB51에서는 0.7%, 20BN-V2에서는 0.9% 높았다.
• 흡수된 모델의 주의 맵은 표준 소프트 주의 기법과는 질적으로 다르며, 외관 주의 맵은 전경 액터를 더 잘 국소화하고, 운동 주의 맵은 움직이는 부분에 집중한다.
• 흡수 과정에서 원래 RGB 스트림의 표현이 손상되지 않음을 확인하여, 흐름 스트림과 융합했을 때 성능 향상이 관찰됨으로써 의미 있는 외관 표현이 유지됨을 입증했다.
• 시각화 결과는 정규화로 인해 주의 맵이 더 분산되고 명확한 특징을 가지게 되어 학습된 핵심 행동 영역을 더 잘 국소화함을 확인하였으며, 이는 강건성을 향상시킨다.