[논문 리뷰] Learning Efficient Video Representation with Video Shuffle Networks

Pingchuan Ma, Yao Zhou외 2명|arXiv (Cornell University)|2019. 11. 26.

Human Pose and Action Recognition참고 문헌 48인용 수 4

한 줄 요약

이 논문은 영상의 시공간 표현을 학습할 수 있도록 표준 2D 컨볼루션 네트워크를 가능하게 하는 파rameter-free이며 플러그인 방식의 모듈인 비디오 셔플 네트워크(VSN)를 제안한다. 이는 채널별 그룹화와 시간적 셔플링을 통해 프레임 간 특징 맵을 재구성함으로써 이루어진다. 이 방법은 추가적인 파라미터나 FLOPs 없이 Something-Something-V1/V2 및 Moments in Time에서 최신 기술 수준(SOTA) 성능을 달성하며, 2D CNN 기반 모델보다 유의하게 높은 정확도를 확보하면서도 낮은 추론 지연을 유지한다.

ABSTRACT

3D CNN shows its strong ability in learning spatiotemporal representation in recent video recognition tasks. However, inflating 2D convolution to 3D inevitably introduces additional computational costs, making it cumbersome in practical deployment. We consider whether there is a way to equip the conventional 2D convolution with temporal vision no requiring expanding its kernel. To this end, we propose the video shuffle, a parameter-free plug-in component that efficiently reallocates the inputs of 2D convolution so that its receptive field can be extended to the temporal dimension. In practical, video shuffle firstly divides each frame feature into multiple groups and then aggregate the grouped features via temporal shuffle operation. This allows the following 2D convolution aggregate the global spatiotemporal features. The proposed video shuffle can be flexibly inserted into popular 2D CNNs, forming the Video Shuffle Networks (VSN). With a simple yet efficient implementation, VSN performs surprisingly well on temporal modeling benchmarks. In experiments, VSN not only gains non-trivial improvements on Kinetics and Moments in Time, but also achieves state-of-the-art performance on Something-Something-V1, Something-Something-V2 datasets.

연구 동기 및 목표

• 영상 인식에서 3D CNN의 높은 계산 비용 문제를 해결하면서도 강력한 시간적 모델링 능력을 유지하기 위해.
• 커널 크기를 늘리거나 학습 가능한 파라미터를 추가하지 않고도 표준 2D CNN이 시간적 의존성을 학습할 수 있도록 하기 위해.
• 기존 2D 영상 모델에 원활하게 통합될 수 있는 경량이며 일반화 가능하고 효율적인 구성 요소를 설계하기 위해.
• 추론 지연을 증가시키지 않고 장거리 및 미세한 동작 인식 벤치마크에서 성능을 향상시키기 위해.

제안 방법

• 각 프레임의 특징 채널을 동일한 크기의 그룹으로 나누고, 같은 인덱스를 가진 그룹 특징을 시간 차원에 따라 스택함으로써 시간적 프레임 간 특징를 재구성하는 파라미터가 없는 '비디오 셔플' 연산을 도입한다.
• 잔차 블록 내 2D 컨볼루션 이전 및 이후에 비디오 셔플을 적용하여 2D 컨볼루션 연산이 전역적인 시공간적 맥락에 접근할 수 있도록 한다.
• 시간적 모델링 후 원래의 공간적 특징 레이아웃으로 복원하기 위해 역방향 셔플 연산을 사용하여 표준 2D CNN 아키텍처와의 호환성을 확보한다.
• 기본 모델로 ResNet-50 및 ResNet-101 백본을 사용하여 TSN 프레임워크에 비디오 셔플을 통합한다.
• 시간적 모델링을 최적화하기 위해 특정 위치에 비디오 셔플을 삽입한 두 가지 유형의 잔차 블록—헤드테일 및 컴팩트—을 설계한다.
• RGB 입력을 사용하여 엔드 투 엔드로 학습하고 Kinetics, Moments in Time, Something-Something 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 파라미터나 FLOPs를 증가시키지 않고도 2D 컨볼루션을 효과적으로 시간적 의존성을 모델링할 수 있도록 확장할 수 있는가?
• RQ2 기존의 시간적 모델링 모듈인 시간 이동(Temporal Shift) 또는 3D 컨볼루션과 비교해 본다면, 제안된 비디오 셔플 연산은 성능 및 효율성 면에서 어떻게 비교되는가?
• RQ3 2D CNN 내에서 시간적 모델링을 위해 비디오 셔플 블록을 최적의 위치와 수로 배치할 수 있는가?
• RQ4 비디오 셔플은 Something-Something-V1/V2와 같은 도전적인 시간-행동 인식 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• VSN-R50는 Something-Something-V2에서 상위 1 정확도 44.5%를 기록하여 이전 SOTA보다 2.1% 높으며, 추가 파라미터나 FLOPs 없이 달성했다.
• VSN-R101은 Something-Something-V2에서 46.5%의 정확도를 기록하여 기준 TSN-ResNet-101보다 23.8个百分点 높았다.
• Kinetics에서 VSN-R50는 기준 TSN-ResNet-50보다 정확도를 2.0% 향상시켰고, VSN-R101은 75.4%의 정확도를 기록하여 기준 모델보다 2.6% 향상되었다.
• VSN은 낮은 지연을 유지한다—VSN-R50는 16.5ms, VSN-R101은 28.7ms이며, 각각 초당 79.5개 및 47.2개의 영상을 처리할 수 있었고, I3D보다 13배 빠른 속도를 기록했다.
• 컴팩트 잔차 블록 유형은 헤드테일 유형보다 Kinetics에서 2.0% 높고, Something-Something-V1에서 26.4% 높은 성능을 기록하여 더 우수한 설계 선택임을 시사한다.
• 비디오 셔플과 시간 이동 모듈을 조합하면 가장 높은 정확도(73.5% on Kinetics, 46.6% on Sth-V1)를 기록하여 상호보완적인 강점을 보였다.