[논문 리뷰] A Closer Look at Spatiotemporal Convolutions for Action Recognition

Du Tran, Heng Wang외 4명|arXiv (Cornell University)|2017. 11. 30.

Human Pose and Action Recognition참고 문헌 26인용 수 215

한 줄 요약

본 논문은 다양한 시공간 합성곱을 행동 인식에 대해 경험적으로 분석하고, R(2+1)D 블록을 제안하여 Sports-1M, Kinetics, UCF101, HMDB51에서 최첨단 결과를 달성함을 보여준다. 3D 합성곱을 공간 및 시간 구성요소로 분해하는 것이 정확도와 최적화를 개선하며, 혼합 및 (2+1)D 변형이 트레이드오프를 제공한다.

ABSTRACT

In this paper we discuss several forms of spatiotemporal convolutions for video analysis and study their effects on action recognition. Our motivation stems from the observation that 2D CNNs applied to individual frames of the video have remained solid performers in action recognition. In this work we empirically demonstrate the accuracy advantages of 3D CNNs over 2D CNNs within the framework of residual learning. Furthermore, we show that factorizing the 3D convolutional filters into separate spatial and temporal components yields significantly advantages in accuracy. Our empirical study leads to the design of a new spatiotemporal convolutional block "R(2+1)D" which gives rise to CNNs that achieve results comparable or superior to the state-of-the-art on Sports-1M, Kinetics, UCF101 and HMDB51.

연구 동기 및 목표

• 다양한 시공간 합성곱(2D, 3D, 혼합, 및 (2+1)D)이 행동 인식 성능에 미치는 영향 평가.
• 3D 합성곱을 공간 및 시간 단계로 분리하는 것이 정확도와 최적화에 미치는 이점 평가.
• 대형 데이터셋에서 ResNet 아키텍처 내 R(2+1)D 블록의 도입 및 검증.
• Sports-1M, Kinetics, UCF101, HMDB51에서 최첨단 방법과의 비교.
• 실무에서 클립 길이, 학습 전략, 비디오 수준 예측에 대한 통찰 제공.

제안 방법

• 다양한 합성곱 변형(R2D, 프레임에 2D 적용 f-R2D, R3D, MCx/rMCx(혼합 3D-2D), 및 ResNets 내 R(2+1)D) 평가.
• 각 3D 필터 Ni×t×d×d를 2D 공간 필터 Ni×1×d×d와 1D 시간 필터 Mi×t×1×1로 대체하고 채널에서 3D와 매개변수를 맞춤화하는 (2+1)D 블록 제안.
• 훈련과 테스트 오차 비교를 통한 최적화와 비선형 용량 분석: (2+1)D가 전체 3D보다 더 쉬운 최적화와 더 큰 비선형 용량을 제공함을 증명.
• 대규모 벤치마크(Sports-1M, Kinetics)에서 평가하고 프랫닝/전이 학습으로 UCF101/HMDB51에 비디오-수준 지표로 전이.
• 프리트레이닝/미세조정 전략 및 클립 길이 실험을 통해 비디오-수준 정확도와 클립-수준 정확도의 차이를 연구.

실험 결과

연구 질문

• RQ1 합성곱 네트워크의 시간적 모델링이 프레임-별 또는 2D 전용 모델보다 행동 인식을 향상시키는가?
• RQ2 3D 합성곱을 공간 및 시간 구성요소로 분리하는 것이 정확도와 최적화에 이점을 주는가?
• RQ3 혼합 및 (2+1)D 아키텍처가 대규모 액션 인식 데이터셋에서 전체 3D CNN과 비교해 어떤 성능 차이를 보이는가?
• RQ4 클립 길이와 클립 수가 비디오-수준 예측 성능에 미치는 영향은 무엇인가?

주요 결과

Net	(# 매개변수)	Clip@1 (8 frames)	Video@1 (8 frames)	Clip@1 (16 frames)	Video@1 (16 frames)
R2D	11.4M	46.7	59.5	47.0	58.9
f-R2D	11.4M	48.1	59.4	50.3	60.5
R3D	33.4M	49.4	61.8	52.5	64.2
MC2	11.4M	50.2	62.5	53.1	64.2
MC3	11.7M	50.7	62.9	53.7	64.7
MC4	12.7M	50.5	62.5	53.7	65.1
MC5	16.9M	50.3	62.5	53.7	65.1
rMC2	33.3M	49.8	62.1	53.1	64.9
rMC3	33.0M	49.8	62.3	53.2	65.0
rMC4	32.0M	49.9	62.3	53.4	65.1
rMC5	27.9M	49.4	61.2	52.1	63.1
R(2+1)D	33.3M	52.8	64.8	56.8	68.0

• R(2+1)D는 Kinetics에서 8- 및 16-프레임 입력에서 테스트한 변형들 중 일관되게 최상의 정확도 달성(Clip@1: 52.8–56.8; Video@1: 64.8–68.0).
• (2+1)D 분해는 전체 3D 합성곱보다 정확도 상승 및 최적화 용이성을 제공한다, 특히 네트워크 깊이가 증가할수록.
• Sports-1M에서 RGB 32-frame R(2+1)D는 57.0% clip@1 및 73.0% video@1로 C3D 및 P3D 베이스라인을 능가; 비디오 수준 정확도는 73.3%로 최고 보고.
• Kinetics에서 RGB에서 처음부터 학습할 때 R(2+1)D가 I3D 및 다른 베이스라인보다 우수하며, Sports-1M에서의 사전학습은 이전 전이 이점을 제공.
• 더 긴 입력 클립은 클립 수준 정확도를 향상시키지만 비디오 수준 이익은 포화되며, 여러 클립의 예측을 평균화하여 최상의 비디오 성능 달성.
• R(2+1)D는 더 깊은 네트워크에서 R3D에 비해 학습 대 테스트 손실 역학이 유리함을 보여준다.