[논문 리뷰] Collaborative Distillation in the Parameter and Spectrum Domains for Video Action Recognition

Haisheng Su, Jing Su외 6명|arXiv (Cornell University)|2020. 09. 15.

Human Pose and Action Recognition참고 문헌 32인용 수 9

한 줄 요약

이 논문은 비디오 동작 인식을 위한 새로운 지식 증류 프레임워크인 기능 및 파rameter 공동 증류(FPCD)를 제안한다. 이는 특징의 시간 주파수 스펙트럼과 파rameter 분포를 주파수 도메인에서 활용하여 경량 학생 네트워크를 훈련시킨다. 교사 네트워크로부터 운동 역학과 외관 모델링 지식을 동시에 증류함으로써, FPCD는 Kinetics, Something-Something, Jester에서 모델 크기와 계산량을 크게 줄이며 최신 기준 성능을 달성한다.

ABSTRACT

Recent years have witnessed the significant progress of action recognition task with deep networks. However, most of current video networks require large memory and computational resources, which hinders their applications in practice. Existing knowledge distillation methods are limited to the image-level spatial domain, ignoring the temporal and frequency information which provide structural knowledge and are important for video analysis. This paper explores how to train small and efficient networks for action recognition. Specifically, we propose two distillation strategies in the frequency domain, namely the feature spectrum and parameter distribution distillations respectively. Our insight is that appealing performance of action recognition requires extit{explicitly} modeling the temporal frequency spectrum of video features. Therefore, we introduce a spectrum loss that enforces the student network to mimic the temporal frequency spectrum from the teacher network, instead of extit{implicitly} distilling features as many previous works. Second, the parameter frequency distribution is further adopted to guide the student network to learn the appearance modeling process from the teacher. Besides, a collaborative learning strategy is presented to optimize the training process from a probabilistic view. Extensive experiments are conducted on several action recognition benchmarks, such as Kinetics, Something-Something, and Jester, which consistently verify effectiveness of our approach, and demonstrate that our method can achieve higher performance than state-of-the-art methods with the same backbone.

연구 동기 및 목표

• 자원이 제한된 실세계 응용 환경에서 대규모이고 계산 비용이 큰 비디오 동작 인식 모델을 구현하는 데 도전하는 것.
• 기존 지식 증류 방법이 공간적 특징에만 초점을 맞추고 비디오의 시간적 및 주파수 도메인 구조적 지식를 忽시하는 한계를 극복하는 것.
• 주파수 도메인 지식을 통해 시간적 역학과 외관 표현을 명시적으로 모델링하여 경량 학생 네트워크의 성능을 향상시키는 것.
• 증류 과정에서 중복 지식을 동적으로 제거하는 협업 학습 전략을 개발하여 더 효율적인 훈련을 가능하게 하는 것.
• Kinetics, Something-Something, Jester를 포함한 다양한 비디오 아키텍처와 벤치마크에서의 일반화 능력을 입증하는 것.

제안 방법

• 교사 네트워크의 비디오 특징의 시간 주파수 스펙트럼을 모방하도록 유도하는 스펙트럼 손실을 도입하여 운동 및 장면 수준 표현을 모두 캡처한다.
• 교사의 합성곱 레이어 가중치의 주파수 도메인 분포를 매칭함으로써 네트워크의 구조적 지식을 전달하는 파rameter 분포 증류를 제안한다.
• 확률론적 관점에서 증류 과정을 최적화하는 협업 학습 전략을 제안하여 교사에서 유래하는 중복 지식을 적응적으로 억제한다.
• 스펙트럼 손실, 파rameter 증류 손실, 및 표준 교차 엔트로피 분류 손실을 통합된 훈련 목표로 조합한다.
• 다양한 비디오 백본 아키텍처(예: STM, I3D, TSN)와 데이터셋에 프레임워크를 적용하여 일반화 및 효율성 평가를 수행한다.
• 푸리에 변환을 사용하여 특징 및 파rameter 주파수 스펙트럼을 분석하고 비교함으로써 비디오 이해에서 저주파 및 고주파 성분의 중요성을 검증한다.

실험 결과

연구 질문

• RQ1 비디오 특징의 시간 주파수 스펙트럼을 증류하면 경량 학생 네트워크의 동작 인식 성능 향상에 기여하는가?
• RQ2 네트워크 파rameter의 주파수 분포를 모델링하면 학생의 교사로부터 외관 모델링을 배우는 능력이 향상되는가?
• RQ3 협업 학습 전략은 중복 지식을 제거함으로써 지식 증류의 효율성을 어떻게 향상시키는가?
• RQ4 제안된 방법은 다양한 비디오 아키텍처와 데이터셋에 얼마나 잘 일반화되는가?
• RQ5 다양한 유형의 비디오 데이터셋(예: 장면 관련 vs. 동작 관련)에서 성능에 더 기여하는 주파수 성분은 저주파인지 고주파인가?

주요 결과

• Kinetics-400에서 FPCD는 학생 STM-ResNet18을 사용해 71.1%의 top-1 정확도를 기록했으며, 기준 Simple KD 및 CCKD 방법을 초월하고 더 깊은 교사 ResNet-50와의 격차를 좁혔다.
• Something-Something V1에서 FPCD는 채널 수를 절반으로 줄인 I3D 백본을 사용해 39.1%의 top-1 정확도를 달성했으며, Simple KD(37.4%) 및 CCKD(38.0%)보다 각각 1.7% 및 1.1% 높게 성과를 냈다.
• Kinetics-400에서 저주파 특징 스펙트럼 증류는 고주파 증류보다 1.3% 더 높은 성능 향상을 기록하여 장면 외관 모델링에 있어 그 중요성을 확인했다.
• 장면 관련 데이터셋인 Kinetics-400에서 파rameter 분포 증류는 특징 스펙트럼 증류보다 더 큰 향상을 이끌어내어 공간적 외관 캐릭터리스틱을 포착하는 데 효과적임을 시사한다.
• 협업 학습 전략은 중복 지식을 동적으로 제거함으로써 증류 효율성과 다양한 프레임워크 간 성능 일관성을 향상시켰다.
• FPCD는 아키텍처 간 일반화 능력이 뛰어나, TSN-ResNet18에서 Jester 및 Something-Something V2에서 교사 ResNet-50를 초월했으며, 모든 데이터셋에서 경량 Inception V1(채널 절반)에서도 일관된 성능 향상을 유지했다.