[논문 리뷰] Temporal Sequence Distillation: Towards Few-Frame Action Recognition in Videos

Zhaoyang Zhang, Zhanghui Kuang외 3명|arXiv (Cornell University)|2018. 08. 15.

Human Pose and Action Recognition참고 문헌 22인용 수 4

한 줄 요약

이 논문은 종단간 3D CNN 학습을 통해 장시간 영상 시퀀스를 압축하고 대표성 있는 짧은 시퀀스로 변환하는 시간적 시퀀스 희석(Temporal Sequence Distillation, TSD)을 제안한다. TSD는 구분력 있는 시공간 표현을 학습함으로써 프레임 전송을 최대 50% 감소시키고 클라우드 FLOPs를 50% 감소시키면서도 Kinetics 및 UCF101 데이터셋에서 최신 기술 수준의 정확도를 유지함으로써 소수의 프레임으로도 높은 정확도의 동작 인식을 가능하게 한다.

ABSTRACT

Video Analytics Software as a Service (VA SaaS) has been rapidly growing in recent years. VA SaaS is typically accessed by users using a lightweight client. Because the transmission bandwidth between the client and cloud is usually limited and expensive, it brings great benefits to design cloud video analysis algorithms with a limited data transmission requirement. Although considerable research has been devoted to video analysis, to our best knowledge, little of them has paid attention to the transmission bandwidth limitation in SaaS. As the first attempt in this direction, this work introduces a problem of few-frame action recognition, which aims at maintaining high recognition accuracy, when accessing only a few frames during both training and test. Unlike previous work that processed dense frames, we present Temporal Sequence Distillation (TSD), which distills a long video sequence into a very short one for transmission. By end-to-end training with 3D CNNs for video action recognition, TSD learns a compact and discriminative temporal and spatial representation of video frames. On Kinetics dataset, TSD+I3D typically requires only 50\% of the number of frames compared to I3D, a state-of-the-art video action recognition algorithm, to achieve almost the same accuracies. The proposed TSD has three appealing advantages. Firstly, TSD has a lightweight architecture and can be deployed in the client, eg. mobile devices, to produce compressed representative frames to save transmission bandwidth. Secondly, TSD significantly reduces the computations to run video action recognition with compressed frames on the cloud, while maintaining high recognition accuracies. Thirdly, TSD can be plugged in as a preprocessing module of any existing 3D CNNs. Extensive experiments show the effectiveness and characteristics of TSD.

연구 동기 및 목표

• 영상 분석 서비스로서의 비디오 분석(Video Analytics as a Service, VA SaaS)에서 발생하는 대역폭과 계산 비용 문제를 해결하기 위해 최소한의 프레임 전송으로도 높은 정확도의 동작 인식을 가능하게 하기 위해.
• 장시간 입력 영상에서 압축되고 대표성이 있는 영상 시퀀스를 학습하는 방법을 개발하여 시공간적 특징을 유지하기 위해.
• 희석 모델을 경량 클라이언트(예: 모바일 기기)에 배포하여 데이터 전송과 서버 측 계산을 줄이기 위해.
• 클라우드로 전송되는 프레임 수가 매우 적은 상황에서도 높은 인식 정확도를 유지하기 위해.
• 기존의 3D CNN(예: I3D)과 호환되는 플러그인 전처리 모듈을 제공하여 실세계 VA SaaS 파이프라인에 효율적으로 통합하기 위해.

제안 방법

• TSD는 3D CNN 기반(예: I3D)을 사용하여 장시간 영상 시퀀스를 짧고 대표적인 시퀀스로 압축하는 종단간 학습 파이프라인을 사용한다.
• 이 방법은 굵은 특징 추출기와 시간적 시퀀스 희석 블록을 포함하며, 이는 행동 클래스와 관련된 핵심 프레임을 함께 식별하도록 학습한다.
• TSD는 지식 희석을 통해 전체 클립 3D CNN의 출력을 소수의 프레임만을 사용하여 모방하도록 학습한다.
• 희석 과정은 행동 관련 프레임에 집중함으로써 시간적 동적 특성과 공간적 맥락을 유지하여 중복을 줄이고도 구분력 있는 성능를 유지한다.
• 이 프레임워크는 모듈식이며, 어떤 3D CNN 앞에서 전처리 단계로 쉽게 통합할 수 있어 기존 모델과의 호환성을 보장한다.
• 추론 과정에서는 클라이언트가 TSD를 실행하여 압축된 프레임 시퀀스를 생성하고, 이를 클라우드로 전송하여 최종 분류를 수행한다.

실험 결과

연구 질문

• RQ1 최소한의 프레임 전송으로도 높은 동작 인식 정확도를 유지할 수 있도록 종단간으로 압축되고 대표성이 있는 영상 시퀀스를 학습할 수 있는가?
• RQ2 표준 벤치마크에서 TSD는 균일한 샘플링 및 기타 프레임 선택 전략과 비교해 정확도와 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 VA SaaS 환경에서 TSD는 인식 성능을 희생시키지 않고 데이터 전송과 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 TSD는 클라이언트 장치에 효과적으로 배포되고 I3D와 같은 기존 3D CNN과 통합될 수 있는가?
• RQ5 다양한 데이터셋과 모델 구성에서, 프레임 수 감소, 계산 절감, 정확도 간의 상호 교환 관계는 어떠한가?

주요 결과

• Kinetics 데이터셋에서 I3D+TSD는 120개의 전송 프레임만으로도 72.4%의 정확도를 달성했으며, I3D의 250개 프레임 대비 50% 감소한 수치를 기록했고, 성능는 유사하게 유지되었다.
• 전송 프레임 수를 60개로 줄였을 때, I3D+TSD는 70.7%의 정확도를 기록했으며, 기준 I3D(40프레임 기준 68.4%)보다 높은 성능를 보였고, 클라우드 FLOPs는 51% 감소시켰다.
• UCF101에서 5개의 프레임만을 샘플링했을 때, I3D+TSD는 I3D보다 7.7% 높은 정확도를 기록하여 소수의 프레임 환경에서 뛰어난 성능를 입증했다.
• I3D 대비 클라우드 측 FLOPs는 최대 50% 감소시키고, 추론 시간은 최대 48% 감소시켰으며, 모델 파rameter는 33% 증가했음에도 불구하고 성능가능성을 유지했다.
• 다양한 클립 수와 프레임 샘플링 비율에 걸쳐 일관된 성능 향상을 유지하며, 강인성과 확장성을 입증했다.
• TSD의 클라이언트 측 배포로 인해 전송 대역폭과 클라우드 계산이 감소하여 실시간 VA SaaS 응용 분야에 매우 적합하다.