[논문 리뷰] EXMOVES: Classifier-based Features for Scalable Action Recognition

Du Tran, Lorenzo Torresani|arXiv (Cornell University)|2013. 12. 20.

Human Pose and Action Recognition참고 문헌 25인용 수 7

한 줄 요약

이 논문은 단일 양성 비디오 클립과 대규모 음성 비디오 세트에서 훈련된 예제-SVM을 기반으로 한 분류기 기반 중위 수준 특징을 사용하는 확장 가능한 비디오 행동 인식 프레임워크 EXMOVES를 제안한다. 이러한 특징에 대해 계산 비용이 높은 템플릿 매칭 대신 빠른 선형 분류를 적용함으로써 EXMOVES는 HMDB51과 Hollywood-2에서 상태의 기술적 정확도를 달성하면서도 추론 비용을 수개의 주기만큼 감소시켜 대규모 비디오 데이터베이스에서의 효율적인 인식을 가능하게 한다.

ABSTRACT

This paper introduces EXMOVES, learned exemplar-based features for efficient recognition of actions in videos. The entries in our descriptor are produced by evaluating a set of movement classifiers over spatial-temporal volumes of the input sequence. Each movement classifier is a simple exemplar-SVM trained on low-level features, i.e., an SVM learned using a single annotated positive space-time volume and a large number of unannotated videos. Our representation offers two main advantages. First, since our mid-level features are learned from individual video exemplars, they require minimal amount of supervision. Second, we show that simple linear classification models trained on our global video descriptor yield action recognition accuracy approaching the state-of-the-art but at orders of magnitude lower cost, since at test-time no sliding window is necessary and linear models are efficient to train and test. This enables scalable action recognition, i.e., efficient classification of a large number of different actions even in large video databases. We show the generality of our approach by building our mid-level descriptors from two different low-level feature representations. The accuracy and efficiency of the approach are demonstrated on several large-scale action recognition benchmarks.

연구 동기 및 목표

• 높은 내부 클래스 변동성을 보이는 대규모 비구속 비디오 데이터베이스를 처리할 수 있는 확장 가능한 행동 인식 시스템의 부족을 해결하기 위해.
• 정확도를 유지하면서도 비디오 행동 인식의 훈련 및 추론 비용을 줄이기 위해.
• 최소한의 인간 감독으로도 충분하고 효율적인 선형 분류를 지원하는 중위 수준의 비디오 표현을 개발하기 위해.
• 기존 방법들(예: Action Bank)과 비교해 계산 오버헤드를 크게 줄여 대규모 배포를 가능하게 하기 위해.

제안 방법

• EXMOVES는 공간-시간 비디오 볼륨을 기반으로 한 움직임 분류기(예제-SVM)의 집합을 평가하여 전역 비디오 기술자를 구성한다.
• 각 예제-SVM은 단일 레이블이 부여된 양성 비디오 클립과 수많은 레이블이 없는 음성 비디오들을 사용하여, HOG-HOF-STIPs나 밀도 있는 궤적과 같은 저수준 특징을 기반으로 훈련된다.
• 기술자 요소들은 훈련된 예제와 유사한 움직임 패턴의 존재를 나타내며, 의미적으로 풍부한 중위 수준 표현을 형성한다.
• 행동를 분류하기 위해 전체 기술자 벡터에 대해 선형 SVM을 훈련시키며, 이는 빠른 훈련과 추론을 가능하게 한다.
• 재귀적 특징 제거를 통한 특징 선택을 통해 가장 분류 능력이 뛰어난 예제들을 식별하였으며, 이는 오직 100개의 예제만으로도 거의 최신 기술 수준의 성능을 유지함을 보여준다.
• 이 방법은 저수준 특징 유형에 독립적이며, 밀도 있는 궤적과 같은 고급 특징과의 통합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 예제-SVM 기반 중위 수준 비디오 표현이 최소한의 감독으로 최신 기술 정확도를 달성할 수 있는가?
• RQ2 특히 대규모 환경에서 기존 방법(예: Action Bank)과 비교해 EXMOVES의 계산 비용은 어떻게 되는가?
• RQ3 EXMOVES에 기반한 선형 분류기는 비선형 모델과 직접적인 저수준 특징 학습보다 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 높은 정확도를 유지하기 위해 필요한 예제 기반 특징의 수는 얼마이며, 특징 집합의 재중복 성격은 어떠한가?

주요 결과

• HMDB51 데이터셋에서 동일한 밀도 궤적 특징을 사용할 때, EXMOVES는 Action Bank 대비 41.6%의 상대적 정확도 향상을 달성한다.
• HMDB51의 단일 클래스에 대해 선형 SVM을 EXMOVES에 훈련시키는 데는 단지 6.2초가 소요되며, 밀도 궤적의 BOW에 비선형 SVM을 훈련시키는 데는 25분이 소요되어 250배 빠른 훈련 속도를 기록한다.
• EXMOVES에 대해 선형 SVM을 테스트할 경우, 비디오당 추론 시간은 단지 7ms이며, 서포트 벡터 의존성으로 인해 비선형 SVM은 두 개의 주기 이상 느리다.
• UT-I 전체 데이터셋에 대해 EXMOVES 특징을 추출하는 데 단일 CPU로 14시간이 소요되었으며, Action Bank는 41일 이상이 소요되었다.
• 오직 100개의 예제만으로도 EXMOVES는 최신 기술 수준에 근접한 정확도를 유지하며, 50개 이하로 감소하면 급격한 성능 저하가 발생한다.
• 이 방법은 저수준 특징 유형에 관계없이 일반화 가능하며, HOG-HOF-STIPs와 밀도 궤적 모두에서 뛰어난 성능을 보였다.