[논문 리뷰] Efficient Video Classification Using Fewer Frames
이 논문은 전체 프레임을 처리하는 대신 일부 프레임만 처리하는 계산 효율적인 비디오 분류 모델을 구축하기 위해 디스틸레이션 기반 방법을 제안한다. 이는 FLOPs와 추론 시간을 크게 감소시킨다. 계산 비용이 높은 교사 모델이 모든 프레임을 처리하는 동안 경량 학생 네트워크를 훈련시켜 그 행동을 모방하도록 함으로써, YouTube-8M 데이터셋에서 정확도 손실이 거의 없이 FLOPs를 약 90% 감소시키고 추론 속도를 30% 향상시킨다.
Recently,there has been a lot of interest in building compact models for video classification which have a small memory footprint (<1 GB). While these models are compact, they typically operate by repeated application of a small weight matrix to all the frames in a video. E.g. recurrent neural network based methods compute a hidden state for every frame of the video using a recurrent weight matrix. Similarly, cluster-and-aggregate based methods such as NetVLAD, have a learnable clustering matrix which is used to assign soft-clusters to every frame in the video. Since these models look at every frame in the video, the number of floating point operations (FLOPs) is still large even though the memory footprint is small. We focus on building compute-efficient video classification models which process fewer frames and hence have less number of FLOPs. Similar to memory efficient models, we use the idea of distillation albeit in a different setting. Specifically, in our case, a compute-heavy teacher which looks at all the frames in the video is used to train a compute-efficient student which looks at only a small fraction of frames in the video. This is in contrast to a typical memory efficient Teacher-Student setting, wherein both the teacher and the student look at all the frames in the video but the student has fewer parameters. Our work thus complements the research on memory efficient video classification. We do an extensive evaluation with three types of models for video classification,viz.(i) recurrent models (ii) cluster-and-aggregate models and (iii) memory-efficient cluster-and-aggregate models and show that in each of these cases, a see-it-all teacher can be used to train a compute efficient see-very-little student. We show that the proposed student network can reduce the inference time by 30% and the number of FLOPs by approximately 90% with a negligible drop in the performance.
연구 동기 및 목표
- 비디오 분류 모델의 높은 계산 비용은 낮은 메모리 사용에도 불구하고 여전히 문제다.
- 모든 프레임을 처리하는 작고 효율적인 비디오 모델의 추론 시간과 FLOPs를 줄이기.
- 교사 모델이 모든 프레임을 보는 동안 학생 모델은 희소한 프레임 서브셋만 처리하는 디스틸레이션 프레임워크를 개발하기.
- RNN, NetVLAD, NeXtVLAD를 포함한 다양한 비디오 분류 아키텍처에서의 효과를 입증하기.
- 정확도 손실 없이 저전력 장치에 효율적인 비디오 모델을 구현 가능하게 하기.
제안 방법
- 비디오의 모든 프레임을 처리하여 최종 비디오 표현을 생성하는 계산 비용이 높은 교사 네트워크를 훈련시킨다.
- FLOPs를 최소화하기 위해 k개의 프레임(예: j번째마다)만 처리하는 경량 학생 네트워크를 훈련시킨다.
- 다중 손실 함수를 사용한 지식 디스틸레이션: 표현 유사도 손실($L_{rep}$), 분류 교차엔트로피 손실($L_{CE}$), 예측 분포 손실($L_{pred}$).
- 학생의 학습을 최적화하기 위해 순차적 및 병렬 훈련 파라다임을 모두 적용한다.
- 특징 수준과 출력 수준의 감독을 통해 학생의 예측과 은닉 표현을 교사의 것과 일치시킨다.
- mAP와 GAP를 메트릭으로 사용하여 YouTube-8M 데이터셋에서 학생 모델을 평가하고, 균일 샘플링 기반 모델 및 스키라인 모델과 비교한다.
실험 결과
연구 질문
- RQ1모든 프레임을 보는 교사 모델과 비교해, 일부 프레임만 처리하는 학생 모델이 유사한 성능을 달성할 수 있는가?
- RQ2모든 프레임을 보는 교사에서 디스틸레이션을 통해 학생 모델의 정확도가 무작위 또는 균일한 프레임 샘플링보다 향상되는가?
- RQ3학생과 교사의 표현 및 예측을 일치시키기 위해 $L_{rep}$, $L_{CE}$, $L_{pred}$ 손실의 최적 조합은 무엇인가?
- RQ4다양한 타임스텝에서 중간 표현(은닉 상태)을 일치시키는 것이 최종 표현만 일치시키는 것보다 학생 성능을 향상시키는가?
- RQ5이 디스틸레이션 접근법은 RNN, NetVLAD, NeXtVLAD와 같은 다양한 비디오 분류 아키텍처로 일반화 가능한가?
주요 결과
- k=30 프레임을 사용할 때, 전체 프레임을 처리하는 교사 모델(스키라인 모델)에 비해 학생 모델이 FLOPs를 약 90% 감소시키고 추론 시간을 30% 단축시킨다.
- 모든 평가된 모델(NetVLAD 및 NeXtVLAD 포함)에서 균일 샘플링 기반 모델(Uniform-k)에 비해 학생 모델이 mAP와 GAP 모두에서 뛰어난 성능을 보인다.
- 가장 뛰어난 성능은 $L_{rep}$ 및 $L_{pred}$ 손실을 조합했을 때 달성되며, 순차적 훈련 전략이 가장 일관된 결과를 제공한다.
- 훈련 중에 중간 표현을 일치시키는 것은 최종 표현만 일치시키는 것보다 유의미한 이점이 없음을 확인했으며, 이는 최종 표현 일치가 충분함을 시사한다.
- k=30일 때, 프레임의 일부만 처리함에도 불구하고 학생 모델은 거의 스키라인 성능을 유지한다: mAP는 0.9–2% 감소하고 GAP는 0.5–0.9% 감소한다.
- 이 방법은 RNN, NetVLAD, NeXtVLAD를 포함한 다양한 아키텍처에서 효과적이며, NeXtVLAD와 같은 메모리 효율적인 모델에서도 효과를 보여 광범위한 적용 가능성을 입증한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.