[논문 리뷰] STH: Spatio-Temporal Hybrid Convolution for Efficient Action Recognition

Xu Li, Jingwen Wang외 5명|arXiv (Cornell University)|2020. 03. 18.

Human Pose and Action Recognition참고 문헌 38인용 수 4

한 줄 요약

이 논문은 공간적 및 시간적 커널을 단일 2D 합성곱 레이어 내에서 입력 채널을 그룹화하여 상호 배치함으로써, 공간적 및 시간적 특징을 깊이 통합할 수 있는 새로운 스파티오-temporal 하이브리드 합성곱 블록인 STH-Conv를 제안한다. 이는 최소한의 파라미터 비용으로도 깊은 통합을 가능하게 한다. 이 방법은 파라미터 수와 계산 비용이 2D CNN과 유사한 수준을 유지하면서도, I3D와 같은 3D CNN보다 정확도와 파라미터 효율성 면에서 뛰어나, Something-Something V1/V2, Jester, HMDB-51에서 최신 기술 수준 또는 경쟁 가능한 정확도를 달성한다.

ABSTRACT

Effective and Efficient spatio-temporal modeling is essential for action recognition. Existing methods suffer from the trade-off between model performance and model complexity. In this paper, we present a novel Spatio-Temporal Hybrid Convolution Network (denoted as "STH") which simultaneously encodes spatial and temporal video information with a small parameter cost. Different from existing works that sequentially or parallelly extract spatial and temporal information with different convolutional layers, we divide the input channels into multiple groups and interleave the spatial and temporal operations in one convolutional layer, which deeply incorporates spatial and temporal clues. Such a design enables efficient spatio-temporal modeling and maintains a small model scale. STH-Conv is a general building block, which can be plugged into existing 2D CNN architectures such as ResNet and MobileNet by replacing the conventional 2D-Conv blocks (2D convolutions). STH network achieves competitive or even better performance than its competitors on benchmark datasets such as Something-Something (V1 & V2), Jester, and HMDB-51. Moreover, STH enjoys performance superiority over 3D CNNs while maintaining an even smaller parameter cost than 2D CNNs.

연구 동기 및 목표

• 기존의 스파티오-temporal 동작 인식 모델에서 성능과 복잡도 사이의 상충 관계를 해결하기 위해.
• 공간적 및 시간적 특징을 순차적이거나 병렬적으로 처리하는 대신, 단일 합성곱 레이어 내에서 공간적 및 시간적 연산을 깊이 통합할 수 있도록 하기 위해.
• ResNet 및 MobileNet과 같은 기존 2D CNN 아키텍처에 원활하게 통합될 수 있는 일반적인 목적의 빌딩 블록을 설계하기 위해.
• 이동 및 임베디드 환경에 적합한, 낮은 파라미터 수와 계산 비용을 유지하면서도 높은 정확도를 달성하기 위해 동작 인식 벤치마크에서 높은 성능을 내는 것.

제안 방법

• STH-Conv는 입력 채널을 그룹으로 나누고, 단일 2D 합성곱 레이어 내에서 채널 차원을 따라 기본 공간적 및 시간적 합성곱 커널을 상호 배치한다.
• 이 방법은 공간적 및 시간적 커널을 체계적이고 교차하는 방식으로 배열하여, 외관과 운동을 함께 모델링할 수 있는 스파티오-temporal 하이브리드 커널을 구성한다.
• STH 블록은 2D CNN 내 표준 2D 합성곱 블록의 플러그인 대체품으로 설계되어, 이를 효율적인 스파티오-temporal 네트워크로 변환한다.
• 각 특징 맵에 대해 학습된 주의 계수를 사용하여 동적으로 공간적 및 시간적 구성 요소의 균형을 조절하는 적응형 주의 메커니즘이 사용된다.
• 표준 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 학습되며, 광학 플로우나 추가적인 감독 신호가 필요하지 않다.
• ResNet 및 MobileNet과 같은 기존 2D CNN에 플러그인 방식으로 통합 가능하여, 아키텍처의 대대적인 수정 없이도 효율적인 영상 동작 인식을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 합성곱 레이어에서 모델 복잡도를 증가시키지 않으면서도 영상의 공간적 및 시간적 특징을 효과적이고 효율적으로 모델링할 수 있는가?
• RQ2 단일 2D 합성곱 레이어 내에서 공간적 및 시간적 커널을 교차 배치하는 방식이 순차적 또는 병렬 처리 방식에 비해 성능 및 효율성 면에서 어떻게 비교되는가?
• RQ3 STH 블록은 2D CNN과 유사한 모델 크기와 FLOPs를 유지하면서 동작 인식 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 다양한 데이터셋, 네트워크 깊이, 입력 모odal에 따라 공간적 및 시간적 구성 요소에 대한 학습된 주의 가중치는 어떻게 변화하는가?

주요 결과

• Something-Something V1에서 STH는 단지 30.6 GFLOPs와 23.2M 파라미터로 top-1 정확도 46.8%를 달성하여, I3D와 ECO를 능가하면서도 더 적은 파라미터를 사용한다.
• Something-Something V2에서 STH는 61.3 GFLOPs와 23.2M 파라미터로 top-1 정확도 78.5%를 달성하여, TSM 및 ABM 모델을 뛰어넘는 정확도를 확보하면서도 더 낮은 복잡도를 유지한다.
• 심화된 레이어에서 STH는 Something-Something V1과 같이 시간적 정보가 풍부한 데이터셋에서 시간적 구성 요소에 더 높은 주의를 기울이는 것을 학습한다.
• 광학 플로우 입력의 경우 네트워크가 시간적 구성 요소에 훨씬 더 높은 주의를 기울여, 이가 운동 신호에 민감함을 확인한다.
• I3D와 같은 3D CNN보다 더 적은 파라미터와 FLOPs를 사용하면서도 더 뛰어난 성능을 내어, 효율성-정확도 트레이드오프 면에서 열등함을 보여준다.
• STH의 플러그인 성격 덕분에 ResNet 및 MobileNet과 같은 기존 2D CNN에 원활하게 통합되어, 아키텍처의 대대적인 개선 없이도 효율적인 영상 동작 인식이 가능하다.