[논문 리뷰] STEP: Spatio-Temporal Progressive Learning for Video Action Detection

Xitong Yang, Xiaodong Yang외 4명|arXiv (Cornell University)|2019. 04. 19.

Human Pose and Action Recognition참고 문헌 35인용 수 4

한 줄 요약

이 논문은 영상 행동 검출을 위한 공간시적 점진적 학습 프레임워크인 STEP을 제안한다. 이 프레임워크는 공간 정밀화와 적응형 시간 연장 기법을 통해 초기에 제안된 소수의 후보 영역을 반복적으로 개선한다. 점진적으로 국소화 정확도를 향상시키고 장거리 맥락을 통합함으로써, STEP은 단일 GPU에서 21 fps로 실행되면서 UCF101에서 75.0%의 SOTA mAP, AVA에서 18.6%의 mAP를 달성한다. 이는 각각 11개와 34개의 초기 후보 영역만을 사용한다.

ABSTRACT

In this paper, we propose Spatio-TEmporal Progressive (STEP) action detector---a progressive learning framework for spatio-temporal action detection in videos. Starting from a handful of coarse-scale proposal cuboids, our approach progressively refines the proposals towards actions over a few steps. In this way, high-quality proposals (i.e., adhere to action movements) can be gradually obtained at later steps by leveraging the regression outputs from previous steps. At each step, we adaptively extend the proposals in time to incorporate more related temporal context. Compared to the prior work that performs action detection in one run, our progressive learning framework is able to naturally handle the spatial displacement within action tubes and therefore provides a more effective way for spatio-temporal modeling. We extensively evaluate our approach on UCF101 and AVA, and demonstrate superior detection results. Remarkably, we achieve mAP of 75.0% and 18.6% on the two datasets with 3 progressive steps and using respectively only 11 and 34 initial proposals.

연구 동기 및 목표

• 공간시적 행동 검출 과정에서 행동 튜브의 공간 이격 문제를 해결하기 위해.
• 시간에 따라 제안 시퀀스를 적응적으로 연장함으로써 시간 모델링의 효율성과 정확도를 향상시키기 위해.
• 밀도 높은 앵커 수천 개 대신 소수의 초기 후보 영역만을 사용함으로써 계산 비용을 줄이기 위해.
• 1회성 검출 방법을 능가하는 종단간 점진적 최적화 프레임워크를 개발하기 위해.
• 반복적 개선을 통해 다양한 행동 척도와 운동 패턴에 대해 강건한 검출을 가능하게 하기 위해.

제안 방법

• 프레임워크는 군집된 스케일의 후보 큐브로 시작하는 다단계 최적화 과정을 사용한다.
• 공간 정밀화는 이전 단계의 회귀 출력을 사용하여 경계 상자들을 반복적으로 업데이트함으로써 움직이는 주체를 더 잘 추적한다.
• 시간 연장은 각 단계에서 입력 시퀀스의 길이를 적응적으로 증가시켜 장거리 맥락을 통합한다.
• 공간시적 표현을 향상시키기 위해 RGB와 옵티컬 플로우 특징의 조기 융합을 활용한다.
• 후보 영역은 순차적으로 정밀화되며, 각 단계는 이전 단계의 출력을 입력으로 사용하여 점진적인 국소화 정확도를 달성한다.
• 프레임워크는 종단간으로 훈련되며, 정확도와 효율성을 균형 잡는 점진적 학습 전략을 통해 최적화된다.

실험 결과

연구 질문

• RQ1 점진적 학습 프레임워크는 반복적인 후보 정밀화를 통해 공간시적 행동 검출 성능을 향상시킬 수 있는가?
• RQ2 적응형 시간 연장은 공간 이격 문제를 다루면서 분류 정확도를 어떻게 향상시키는가?
• RQ3 소수의 초기 후보 영역만으로도 높은 검출 성능을 달성할 수 있는가?
• RQ4 점진적 정밀화는 정확도와 효율성 측면에서 1회성 검출 방법을 능가하는가?
• RQ5 프레임워크는 시간이 지남에 따라 상당한 공간 이격을 보이는 행동 튜브를 어떻게 처리하는가?

주요 결과

• STEP은 UCF101에서 75.0%의 프레임-mAP를 달성하여 두 번째로 우수한 방법보다 5.5% 향상되었다.
• AVA에서 STEP은 18.6%의 프레임-mAP를 기록하여 이전의 SOTA인 ACRN을 1.2% 초월했다.
• 11개의 초기 후보 영역과 3단계를 사용하여 단일 GPU에서 21 fps로 실행되며, 4 fps인 프레임 기반 방법을 능가하고 23 fps인 클립 기반 기준선과 동등한 성능을 보였다.
• 점진적 정밀화 과정은 오류 박스(파란색)의 제거를 통해 분류 오류를 크게 줄임을 정성적 결과에서 입증했다.
• 공간 정밀화는 다양한 행동 척도에서 후보 영역을 주체 쪽으로 효과적으로 이동시켜 국소화 정확도를 향상시킴을 그림 8에서 입증했다.
• 초기 후보 영역 수를 늘릴수록 정확도는 향상되지만 추론 속도는 저하되어 속도와 성능 사이의 제어 가능한 트레이드오프를 보였다.