[논문 리뷰] Rethinking Resolution in the Context of Efficient Video Recognition

Chuofan Ma, Qiushan Guo외 4명|arXiv (Cornell University)|2022. 09. 26.

Advanced Image Processing Techniques인용 수 10

한 줄 요약

이 논문은 고해상도 교사 네트워크에서 저해상도 학생 네트워크로 지식을 전달함으로써 효율성을 훼손하지 않은 채 영상 인식 정확도를 향상시키는 Cross-Resolution Knowledge Distillation (ResKD)를 제안한다. ResKD는 저해상도 입력에서 성능을 크게 향상시키며, 특히 Mini-Kinetics에서 FLOPs를 4배 줄였음에도 불구하고 최신 기법들을 크게 앞서며 높은 정확도를 유지한다.

ABSTRACT

In this paper, we empirically study how to make the most of low-resolution frames for efficient video recognition. Existing methods mainly focus on developing compact networks or alleviating temporal redundancy of video inputs to increase efficiency, whereas compressing frame resolution has rarely been considered a promising solution. A major concern is the poor recognition accuracy on low-resolution frames. We thus start by analyzing the underlying causes of performance degradation on low-resolution frames. Our key finding is that the major cause of degradation is not information loss in the down-sampling process, but rather the mismatch between network architecture and input scale. Motivated by the success of knowledge distillation (KD), we propose to bridge the gap between network and input size via cross-resolution KD (ResKD). Our work shows that ResKD is a simple but effective method to boost recognition accuracy on low-resolution frames. Without bells and whistles, ResKD considerably surpasses all competitive methods in terms of efficiency and accuracy on four large-scale benchmark datasets, i.e., ActivityNet, FCVID, Mini-Kinetics, Something-Something V2. In addition, we extensively demonstrate its effectiveness over state-of-the-art architectures, i.e., 3D-CNNs and Video Transformers, and scalability towards super low-resolution frames. The results suggest ResKD can serve as a general inference acceleration method for state-of-the-art video recognition. Our code will be available at https://github.com/CVMI-Lab/ResKD.

연구 동기 및 목표

• 저해상도 입력에서 영상 인식 모델의 성능 저하가 효율성 잠재력에도 불구하고 발생하는 이유를 탐구하기 위해.
• 저해상도 영상 인식에서 성능 저하의 근본 원인을 규명하여, 다운샘플링으로 인한 정보 손실이 주요 원인이라는 가정을 도전하기 위해.
• 저해상도 프레임의 잠재력을 최대로 끌어내는 일반적이고 확장 가능하며 효율적인 방법을 개발하기 위해.
• 다양한 해상도 간 지식 전달이 고해상도와 저해상도 입력 간 성능 격차를 효과적으로 줄일 수 있음을 보여주기 위해.

제안 방법

• ResKD는 224×224 프레임에서 훈련된 고해상도 교사 네트워크를 사용하여 112×112 프레임에서 훈련된 저해상도 학생 네트워크를 지식 전달 과정에서 감독한다.
• 다중 수준 감독을 적용: 클립 수준, 프레임 수준, 픽셀 수준에서 KL 발산과 평균 제곱 오차 손실을 사용한 지식 전달.
• 프레임 수준 및 픽셀 수준 감독이 핵심적임을 입증하였으며, 클립 수준 지식 전달만으로는 3퍼센트 이상의 mAP 향상이 가능하다.
• 지식 전달 과정에서 학생 모델의 효과적 수용장(ERF)을 수축시켜 저해상도 입력의 객체 크기와 더 잘 일치시킨다.
• ResKD는 아키텍처에 종속되지 않으며, 3D-CNN 및 비디오 트랜스포머(예: Swin Transformer 포함)에서 뛰어난 성능을 보였다.
• 제거 분석 결과, 교사가 고해상도 입력을 사용하는 해상도 기반 지식 전달이 모델 기반 지식 전달보다 더 효과적임을 확인하였다.

실험 결과

연구 질문

• RQ1 왜 영상 인식 모델은 저해상도 입력에서 성능이 크게 저하되며, 다운샘플링으로 인한 정보 손실이 주요 원인인가?
• RQ2 네트워크 아키텍처와 입력 스케일 간의 불일치가 저해상도 프레임에서의 성능 저하에 어느 정도 기여하는가?
• RQ3 다양한 해상도 간 지식 전달이 고해상도와 저해상도 입력 간 성능 격차를 효과적으로 줄일 수 있는가?
• RQ4 감독 신호의 선택(클립 수준, 프레임 수준, 픽셀 수준)이 다중 해상도 환경에서 지식 전달의 효과성에 어떤 영향을 미치는가?
• RQ5 ResKD는 다양한 영상 인식 아키텍처에 일반화 가능하며 초저해상도 입력에 대해서도 확장 가능한가?

주요 결과

• 다운샘플링 과정에서의 정보 손실은 정확도에 미치는 영향이 미약하여, 고해상도 프레임에 작업에 불필요한 레이어가 다수 존재함을 시사한다.
• 저해상도 입력에서 성능 저하의 주요 원인은 정보 손실이 아니라 아키텍처 불일치이며, 기존 모델이 저해상도 입력에 적합하게 조정되었을 때 최적의 성능을 내지 못함을 확인하였다.
• ResNet-50을 학생, ResNet-152를 교사로 사용할 경우 ActivityNet에서 78.5% mAP를 달성하여 기준 모델보다 6.7%p 높은 성능을 기록하였다.
• Mini-Kinetics에서 ResKD는 AdaFocus V2보다 1.4%p 높은 정확도를 기록하였으며, FLOPs는 4배 줄였다.
• Video Swin Transformer에 ResKD를 적용하면, 정확도 저하 없이 영상당 추론 FLOPs를 1000 GFLOPs 이상 감소시켰다.
• ResKD는 주의 분포를 향상시켜 관련 객체에 더 집중하고 배경 활성화를 줄임을 특징 맵 시각화를 통해 입증하였다.