[논문 리뷰] Mobile Video Action Recognition

Yuqi Huo, Xiaoli Xu외 4명|arXiv (Cornell University)|2019. 08. 27.

Human Pose and Action Recognition참고 문헌 37인용 수 14

한 줄 요약

이 논문은 모바일 장치에서 압축된 비디오 모odalities—I-프레임, 운동 벡터, 잔차—를 MobileNetV2와 새로운 시간적 삼중선형 풀링(TTP) 모듈을 사용하여 다중 모달 특징을 융합하는 경량 모바일 비디오 동작 인식 프레임워크를 제안한다. 이 방법은 모바일 장치에서 약 40 FPS의 추론 성능을 달성하며, 모델 효율성 측면에서 최신 기술을 초월하면서도 HMDB-51 및 UCF101 벤치마크에서 경쟁력 있는 정확도를 유지한다.

ABSTRACT

Video action recognition, which is topical in computer vision and video analysis, aims to allocate a short video clip to a pre-defined category such as brushing hair or climbing stairs. Recent works focus on action recognition with deep neural networks that achieve state-of-the-art results in need of high-performance platforms. Despite the fast development of mobile computing, video action recognition on mobile devices has not been fully discussed. In this paper, we focus on the novel mobile video action recognition task, where only the computational capabilities of mobile devices are accessible. Instead of raw videos with huge storage, we choose to extract multiple modalities (including I-frames, motion vectors, and residuals) directly from compressed videos. By employing MobileNetV2 as backbone, we propose a novel Temporal Trilinear Pooling (TTP) module to fuse the multiple modalities for mobile video action recognition. In addition to motion vectors, we also provide a temporal fusion method to explicitly induce the temporal context. The efficiency test on a mobile device indicates that our model can perform mobile video action recognition at about 40FPS. The comparative results on two benchmarks show that our model outperforms existing action recognition methods in model size and time consuming, but with competitive accuracy.

연구 동기 및 목표

• 제한된 스토리지와 계산 자원을 가진 모바일 장치에서 효율적인 비디오 동작 인식의 격차를 해소하기 위해.
• 원시 비디오 프레임이나 옵티컬 플로우 없이도 압축된 비디오 프레임을 사용하여 동작 인식을 가능하게 하기 위해.
• 다양한 압축된 비디오 모달리티를 효과적으로 융합할 수 있는 경량이며 모바일 호환 가능한 프레임워크를 설계하기 위해.
• 关건 프레임 융합을 통해 시간적 맥락을 명시적으로 통합하여 시간 모델링을 향상시키기 위해.
• 높은 추론 속도(40 FPS)와 함께 모델 크기를 줄이며 경쟁력 있는 정확도를 유지하기 위해.

제안 방법

• 압축된 비디오(예: MPEG-4)에서 직접 RGB I-프레임, 운동 벡터(MV), 잔차(R)의 세 가지 모달리티를 추출하여 스토리지와 계산을 줄인다.
• 모든 모달리티에서 효율적인 특징 추출을 위해 백본 네트워크로 MobileNetV2를 사용한다.
• I-프레임, MV, R 간의 교차 모달 상호작용을 명시적으로 모델링하기 위해 시간적 삼중선형 풀링(TTP) 모듈을 제안한다.
• 연속적인 핵심 프레임을 융합하여 시간 표현 학습을 향상시키는 시간 융합 전략을 도입한다.
• 간단한 점수 평균화나 후기 융합보다 높은 순서의 상호작용을 캡처하기 위해 삼중선형 풀링을 활용한다.
• 모델 파arameter 수(17.5M)와 GFLOPs(1.4)를 최소화하여 모바일 배포를 최적화하고, 약 40 FPS의 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 원시 비디오나 옵티컬 플로우 없이도 I-프레임, 운동 벡터, 잔차와 같은 압축된 비디오 표현 방식이 모바일 비디오 동작 인식에 효과적으로 사용될 수 있는가?
• RQ2 압축된 비디오에서 유도된 다중 모달 특징을 어떻게 융합하여 정확도를 향상시키면서도 효율성을 유지할 수 있는가?
• RQ3 경량 프레임워크에서 시간적 맥락을 명시적으로 모델링할 수 있는가? 이는 모바일 장치에서의 동작 인식 향상에 기여하는가?
• RQ4 삼중선형 풀링 기법이 다중 모달 압축 비디오 인식에서 단순 앙상블 또는 후기 융합 전략보다 우월한가?
• RQ5 높은 추론 속도(예: 40 FPS)를 모바일 하드웨어에서 달성하면서도 경쟁력 있는 정확도를 유지할 수 있는가?

주요 결과

• 제안된 TTP 모델은 모바일 장치에서 약 40 FPS의 추론 성능을 달성하여 높은 실시간 성능를 입증했다.
• 단지 1750만 개의 파라미터와 1.4 GFLOPs로, CoViAR(8360만 개 파라미터)와 Two-Stream(4660만 개 파라미터)와 같은 최신 기술보다 훨씬 효율적이다.
• HMDB-51 벤치마크에서 TTP는 58.2%의 상위-1 정확도를 달성했으며, CoViAR(59.1%)보다 모델 효율성에서 뛰어나며 약 80%의 스토리지 절감을 이룬다.
• UCF101에서 TTP는 87.2%의 상위-1 정확도를 기록했으며, CoViAR(90.4%)와 Two-Stream(88.0%)와 경쟁 가능한 성능를 보였지만, 훨씬 낮은 계산 비용을 유발한다.
• TTP 모듈은 삼중선형 풀링(TP)과 후기 융합(I+MV+R)보다 더 풍부한 교차 모달 상호작용을 캡처하여 성능이 뛰어나다.
• 시간 융합 방법은 기본 TTP 대비 성능을 1% 향상시켜 명시적인 시간 모델링의 중요성을 입증한다.