[논문 리뷰] ACTION-Net: Multipath Excitation for Action Recognition

Zhengwei Wang, Qi She외 1명|arXiv (Cornell University)|2021. 03. 11.

Human Pose and Action Recognition참고 문헌 46인용 수 11

한 줄 요약

ACTION-Net는 2D CNN의 영상 행동 인식 성능을 향상시키기 위해 공간-시간, 채널별, 운동 특징을 동시에 모델링하는 경량형, 플러그 앤 플레이 다중경로 자극 모듈(ACTION)을 도입한다. 공간-시간, 채널, 운동 자극 경로를 병렬로 통합함으로써, 계산 비용을 최소화하면서도 Something-Something V2, Jester, EgoGesture에서 최신 기준(SOTA) 정확도를 달성하며, TSM 및 2D CNN 기반 모델보다 일관되게 뛰어난 성능을 보인다.

ABSTRACT

Spatial-temporal, channel-wise, and motion patterns are three complementary and crucial types of information for video action recognition. Conventional 2D CNNs are computationally cheap but cannot catch temporal relationships; 3D CNNs can achieve good performance but are computationally intensive. In this work, we tackle this dilemma by designing a generic and effective module that can be embedded into 2D CNNs. To this end, we propose a spAtio-temporal, Channel and moTion excitatION (ACTION) module consisting of three paths: Spatio-Temporal Excitation (STE) path, Channel Excitation (CE) path, and Motion Excitation (ME) path. The STE path employs one channel 3D convolution to characterize spatio-temporal representation. The CE path adaptively recalibrates channel-wise feature responses by explicitly modeling interdependencies between channels in terms of the temporal aspect. The ME path calculates feature-level temporal differences, which is then utilized to excite motion-sensitive channels. We equip 2D CNNs with the proposed ACTION module to form a simple yet effective ACTION-Net with very limited extra computational cost. ACTION-Net is demonstrated by consistently outperforming 2D CNN counterparts on three backbones (i.e., ResNet-50, MobileNet V2 and BNInception) employing three datasets (i.e., Something-Something V2, Jester, and EgoGesture). Codes are available at \url{https://github.com/V-Sense/ACTION-Net}.

연구 동기 및 목표

• 2D CNN의 계산 효율성과 성능 간의 상충 관계를 해결하기 위해, 공간-시간, 채널별, 운동 특징을 다중 유형으로 모델링하는 방식으로 2D CNN을 향상시키는 것.
• 기존 2D CNN 아키텍처에 구조적 개편 없이 원활하게 통합될 수 있는 경량형, 일반적인 모듈을 설계하는 것.
• 비용이 많이 드는 옵티컬 플로우 계산을 피하기 위해, 특징 수준에서 직접적으로 운동 패턴을 캡처함으로써 2D CNN의 시간 모델링 성능을 향상시키는 것.
• 저비용 추론을 유지하면서도 대규모 행동 인식 벤치마크에서 뛰어난 성능을 달성하는 것.

제안 방법

• ACTION 모듈은 공간-시간 자극(STE), 채널 자극(CE), 운동 자극(ME)의 세 가지 병렬 자극 경로로 구성된다.
• STE 경로는 1x1x1 3D 컨볼루션을 사용하여 특징 맵으로부터 공간-시간 표현을 추출한다.
• CE 경로는 시간 차원에 대해 전역 평균 풀링을 적용하고, 채널 간 상호의존성을 기반으로 채널별 특징을 재조정하는 압축-확장 메커니즘을 사용한다.
• ME 경로는 연속된 특징 맵 간의 시간적 차이를 계산하고, 이를 학습 가능한 변환을 통해 운동 민감 채널을 자극한다.
• 세 경로의 출력은 연결되어 학습 가능한 게이트를 통과하여 최종적으로 향상된 특징 맵을 생성한다.
• 이 모듈은 2D CNN의 잔차 블록(예: ResNet-50, MobileNet V2, BNInception)에 삽입되어 ACTION-Net 아키텍처를 구성한다.

실험 결과

연구 질문

• RQ1 공간-시간, 채널별, 운동 특징을 동시에 모델링하는 경량형, 플러그 앤 플레이 모듈이 2D CNN의 영상 행동 인식 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 TSM 및 3D CNN과 같은 기존 방법과 비교해 볼 때, 제안된 다중경로 자극 메커니즘은 정확도와 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 각 개별 자극 경로(스패티오타임럴, 채널, 운동)가 전체 성능 향상에 기여하는 정도는 어떠한가?
• RQ4 네트워크에 삽입된 ACTION 모듈의 수가 인식 정확도와 계산 비용에 미치는 영향는 어떠한가?
• RQ5 다양한 파rameter 및 FLOP 예산을 가진 다양한 2D CNN 백본에 대해 ACTION 모듈이 효율적으로 적용될 수 있는가?

주요 결과

• EgoGesture 데이터셋에서 ACTION-Net는 FLOPs 증가율 5.3%에 그치는 가운데 TSM 대비 Top-1 정확도 2.1% 향상시켰다.
• Something-Something V2에서 ResNet-50 기반 ACTION-Net는 TSM 대비 1.40%의 Top-1 정확도 향상을 기록했으며, MobileNet V2는 FLOPs 증가율이 최소 수준이면서도 0.22%의 정확도 향상을 달성했다.
• 효율성 지표 η(1% Top-1 정확도 향상당 FLOPs 증가율)는 STE가 가장 낮은 0.18%이며, ME가 가장 높은 2.83%로, STE가 가장 효율적인 구성 요소임을 시사한다.
• 잔차 스테이지(res2부터 res5까지)에 ACTION 모듈의 수를 늘일수록 성능 향상이 일관되게 관찰되어, 모듈의 확장성과 효과성을 입증한다.
• 모든 세 백본(ResNet-50, BNInception, MobileNet V2)과 세 데이터셋에서 ACTION-Net은 TSM을 항상 초월하여 일반화 능력과 강건성을 입증했다.
• TSM 대비 ACTION으로 교체했을 때 MobileNet V2는 가장 높은 효율성(가장 낮은 η)을 기록하여, 이 모듈이 경량 모델에 특히 효과적임을 보여준다.