[논문 리뷰] You Only Watch Once: A Unified CNN Architecture for Real-Time Spatiotemporal Action Localization

Okan Köpüklü, Xiangyu Wei외 1명|arXiv (Cornell University)|2019. 11. 15.

Human Pose and Action Recognition참고 문헌 45인용 수 107

한 줄 요약

YOWO는 CFAM으로 융합된 2D 키 프레임 및 3D 클립 분기를 갖춘 실시간 단일 단계 아키텍처를 제시하여 공간과 시간에서 행동을 로컬라이즈하고, 실시간 속도로 실행하면서 최첨단/frame-mAP를 달성한다.

ABSTRACT

Spatiotemporal action localization requires the incorporation of two sources of information into the designed architecture: (1) temporal information from the previous frames and (2) spatial information from the key frame. Current state-of-the-art approaches usually extract these information with separate networks and use an extra mechanism for fusion to get detections. In this work, we present YOWO, a unified CNN architecture for real-time spatiotemporal action localization in video streams. YOWO is a single-stage architecture with two branches to extract temporal and spatial information concurrently and predict bounding boxes and action probabilities directly from video clips in one evaluation. Since the whole architecture is unified, it can be optimized end-to-end. The YOWO architecture is fast providing 34 frames-per-second on 16-frames input clips and 62 frames-per-second on 8-frames input clips, which is currently the fastest state-of-the-art architecture on spatiotemporal action localization task. Remarkably, YOWO outperforms the previous state-of-the art results on J-HMDB-21 and UCF101-24 with an impressive improvement of ~3% and ~12%, respectively. Moreover, YOWO is the first and only single-stage architecture that provides competitive results on AVA dataset. We make our code and pretrained models publicly available.

연구 동기 및 목표

• 별도의 제안 및 융합 단계 없이 실시간 시공간 액션 로컬라이제이션의 필요성과 동기를 제시한다.
• 단일 끝에서 끝까지(end-to-end) 아키텍처를 제안한다.
• 표준 벤치마크에서 실시간 성능과 경쟁력 있는 정확도를 입증한다.
• 교차 분기 집계를 위한 채널 주의(attention)를 통한 효과적인 특징 융합을 조사한다.

제안 방법

• 두 개의 평행 분기로 YOWO를 도입한다: 키 프레임에 대한 2D-CNN과 짧은 비디오 클립에 대한 3D-CNN.
• Gram 행렬 상관관계에 기초한 Channel Fusion and Attention Mechanism (CFAM)을 통해 두 분기의 특징을 융합한다.
• 그리드 셀당 5개의 앵커를 갖는 YOLO 유사 헤드를 사용하여 단일 단계에서 바운딩 박스 회귀를 수행한다.
• 위치 지정에 대해 smooth L1, 신뢰도에 대해 MSE, 분류에 대해 α-균형 변형의 focal loss를 포함하는 복합 손실로 엔드투엔드 학습한다.
• 추론 시 시간 맥락을 강화하기 위해 Long-Term Feature Bank (LFB)를 도입하되 인과성을 해치지 않는다.
• 프레임 간에 액션 튜브를 형성하기 위한 연결 알고리즘을 사용하고 프레임 수준 및 비디오 수준 성능을 평가한다.

실험 결과

연구 질문

• RQ1 단일 단계 아키텍처가 2D 공간 특징과 3D 시간 특징을 효과적으로 융합하여 시공간 액션 로컬라이제이션을 수행할 수 있는가?
• RQ2 Gram 매트릭스 기반 채널 어텐션 모듈이 교차 분기 특징 융합과 검출 정확도를 향상시키는가?
• RQ3 클립 길이, 다운샘플링 및 백본 복잡도 간의 정확도와 속도 간 트레이드오프는 무엇인가?
• RQ4 온라인/인과 설정에서의 성능을 포함하여 YOWO가 UCF101-24, J-HMDB-21, AVA에서 기존 방법들과 비교하여 어떤가?

주요 결과

• YOWO는 16프레임 클립에서 34 fps, 8프레임 클립에서 62 fps를 달성하여 당시 시공간 액션 로컬라이제이션 분야에서 가장 빠른 최신 기술이었습니다.
• UCF101-24에서 2D+3D+CFAM을 사용한 YOWO는 IoU 0.5에서 79.2% 프레임-mAP를 달성했다(2D 단독 61.6%, 3D 단독 70.5%, 2D+3D는 73.8%).
• J-HMDB-21에서 2D+3D+CFAM으로 64.9% 프레임-mAP를 달성(2D 36.0%, 3D 41.5%, 2D+3D 47.1%).
• AVA에서 2D+3D+CFAM으로 16.4% 프레임-mAP를 달성(2D 13.2%, 3D 13.7%, 2D+3D 16.0%).
• 절개 실험에서 3D-CNN은 분류 재현율을 더 강하게 제공하고; 2D-CNN은 로컬라이제이션 강점을 제공하며; CFAM은 두 가지를 모두 향상시킨다.