[논문 리뷰] Sympathy for the Details: Dense Trajectories and Hybrid Classification Architectures for Action Recognition

César Roberto de Souza, Adrien Gaidon외 2명|arXiv (Cornell University)|2016. 08. 25.

Human Pose and Action Recognition참고 문헌 54인용 수 7

한 줄 요약

이 논문은 수작업으로 구성된 밀집 궤적과 피셔 벡터 인코딩, 딥 네트워크를 결합한 하이브리드 비디오 행동 인식 아키텍처를 제안하며, 높은 데이터 효율성으로 최신 기술 수준의 성능을 달성한다. 특징 정규화, 시공간적 구조, 특징 수준의 데이터 증강을 철저히 설계함으로써, 수백만 장의 이미지로 훈련된 대규모 엔드 투 엔드 딥 러닝 모델을 능가하는 성능을 보였다.

ABSTRACT

Action recognition in videos is a challenging task due to the complexity of the spatio-temporal patterns to model and the difficulty to acquire and learn on large quantities of video data. Deep learning, although a breakthrough for image classification and showing promise for videos, has still not clearly superseded action recognition methods using hand-crafted features, even when training on massive datasets. In this paper, we introduce hybrid video classification architectures based on carefully designed unsupervised representations of hand-crafted spatio-temporal features classified by supervised deep networks. As we show in our experiments on five popular benchmarks for action recognition, our hybrid model combines the best of both worlds: it is data efficient (trained on 150 to 10000 short clips) and yet improves significantly on the state of the art, including recent deep models trained on millions of manually labelled images and videos.

연구 동기 및 목표

• 딥 러닝 모델이 수많은 수동으로 레이블링된 데이터셋이 필요로 하는 비디오 행동 인식의 데이터 효율성 문제를 해결한다.
• 순수하게 수작업으로 구성된 특징의 한계를 극복하기 위해, 이를 딥 러닝과 통합하여 더 높은 강건성과 모델링 능력을 향상시킨다.
• 비지도 표현 학습(Fisher Vector)과 지도 학습 딥 네트워크를 활용하는 하이브리드 아키텍처를 설계하여 성능을 향상시킨다.
• 저수준 특징과 훈련 절차의 철저한 공학적 설계가 복잡한 엔드 투 엔드 딥 모델을 능가할 수 있음을 입증한다.
• 단지 150~10,000개의 짧은 비디오 클립으로만 훈련된 모델이 여러 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 비디오 프레임과 옵티컬 플로우에서 밀집 궤적을 추출하고, RootSIFT 정규화와 주성분 분석(PCA)을 사용하여 저수준 기술 특징을 구성한다.
• 기술 특징을 피셔 벡터(FV) 인코딩으로 인코딩한 후, 공간적 및 시간적 집계를 통해 비디오 수준의 표현으로 통합한다.
• FV 표현에 제곱근 및 ℓ₂ 정규화를 적용한 후, 채널 간 특징을 연결하고 재정규화한다.
• 배치 정규화, ReLU, 드롭아웃을 포함한 지도 학습 차원 축소 레이어를 도입하여 압축되고 분류에 유용한 특징을 학습한다.
• 최종적으로 소프트맥스(다중 클래스) 또는 시그모이드(다중 레이블) 활성화 함수를 사용하는 완전 연결 레이어를 적용하여 행동 예측을 수행한다.
• 샘플을 복제하는 대신 특징을 스택하여 특징 수준의 데이터 증강을 적용함으로써 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 수작업으로 구성된 시공간적 특징과 딥 러닝을 융합한 하이브리드 아키텍처가 더 적은 훈련 데이터로도 엔드 투 엔드 딥 모델을 능가할 수 있는가?
• RQ2 정규화, 시공간적 구조, 특징 수준의 증강과 같은 철저한 설계 선택이 행동 인식 정확도에 어떤 영향을 미치는가?
• RQ3 하이브리드 파이프라인에서 지도 학습 기반 차원 축소가 비지도 또는 무차원 축소와 비교해 성능 향상에 기여하는가?
• RQ4 단지 150~10,000개의 클립으로 훈련된 모델가 수백만 장의 이미지 및 비디오로 훈련된 모델를 능가할 수 있는가?
• RQ5 최적의 설계 결정이 다양한 행동 인식 벤치마크 간에 얼마나 일반화되는가?

주요 결과

• 제안된 하이브리드 모델은 UCF-101에서 평균 92.5%의 정확도를 달성하여 이전 최신 기술 수준(91.5%)을 초월했으며, ImageNet이나 Sports-1M로 훈련된 모델보다도 뛰어난 성능을 보였다.
• HMDB-51에서는 70.4%의 평균 정확도를 기록하여, 이전 최신 기술 수준인 FV-SVM 기반 66.8%와 TDD 기반 65.9%를 크게 상회했다.
• High-Five 데이터셋에서는 76.7%의 mAP+를 기록하여, 이전 최고 성능인 FV-SVM 기반 71.1%를 뛰어넘었다.
• FV-SVM 기반 베이스라인만으로도 UCF-101에서 90.6%, HMDB-51에서 67.8%의 정확도를 기록하여, 딥 러닝 없이도 뛰어난 성능을 보였다.
• FV-SVM 기반 베이스라인 대비 UCF-101에서 1.9%, HMDB-51에서 2.6% 향상된 성능을 기록하여, 딥 특징 학습의 유용성을 확인했다.
• UCF-101, HMDB-51, Hollywood2, High-Five, Olympics 등 다양한 벤치마크에서 일관된 성능 향상으로 일반화 능력이 뛰어나다는 것을 입증했다.