[논문 리뷰] Modeling Spatial-Temporal Clues in a Hybrid Deep Learning Framework for Video Classification

Zuxuan Wu, Xi Wang외 3명|arXiv (Cornell University)|2015. 04. 07.

Human Pose and Action Recognition참고 문헌 43인용 수 26

한 줄 요약

이 논문은 공간적 특징을 컨volution 신경망(CNN)에서, 단기 운동 특징을 광학 흐름에서, 장기 시간적 모델링을 장기 단기 기억(LSTM) 네트워크를 통해 통합하는 하이브리드 딥 러닝 프레임워크를 제안한다. 영상 수준의 특징 융합과 시퀀스 기반 LSTM 예측을 결합함으로써, UCF-101에서 91.3% 및 CCV에서 83.5%의 최신 기준 성능을 달성하여 공간적, 운동적, 시간적 신호의 통합 모델링의 효과성을 입증한다.

ABSTRACT

Classifying videos according to content semantics is an important problem with a wide range of applications. In this paper, we propose a hybrid deep learning framework for video classification, which is able to model static spatial information, short-term motion, as well as long-term temporal clues in the videos. Specifically, the spatial and the short-term motion features are extracted separately by two Convolutional Neural Networks (CNN). These two types of CNN-based features are then combined in a regularized feature fusion network for classification, which is able to learn and utilize feature relationships for improved performance. In addition, Long Short Term Memory (LSTM) networks are applied on top of the two features to further model longer-term temporal clues. The main contribution of this work is the hybrid learning framework that can model several important aspects of the video data. We also show that (1) combining the spatial and the short-term motion features in the regularized fusion network is better than direct classification and fusion using the CNN with a softmax layer, and (2) the sequence-based LSTM is highly complementary to the traditional classification strategy without considering the temporal frame orders. Extensive experiments are conducted on two popular and challenging benchmarks, the UCF-101 Human Actions and the Columbia Consumer Videos (CCV). On both benchmarks, our framework achieves to-date the best reported performance: $91.3\%$ on the UCF-101 and $83.5\%$ on the CCV.

연구 동기 및 목표

• 기존 영상 분류 방법이 단기 운동을 초월한 장기 시간적 의존성을 모델링하지 못하는 한계를 해결하기 위해.
• 통합된 딥 러닝 프레임워크 내에서 공간적, 단기 운동, 장기 시간적 특징을 함께 모델링하여 분류 성능을 향상시키기 위해.
• 영상 수준의 특징 융합와 시퀀스 수준의 시간 모델링을 결합한 LSTMs가 단독 접근 방식보다 뛰어난 성능을 낼 수 있음을 보여주기 위해.
• 단순한 특징 연결 또는 평균화보다 정규화된 특징 융합이 별개의 분류기에서 유도된 특징의 융합에 더 효과적임을 보여주기 위해.

제안 방법

• 개별 영상 프레임에 대해 훈련된 CNN를 사용하여 공간적 특징을 추출한다.
• 짧은 시간 윈도우에서의 스택된 광학 흐름 볼륨에 CNN를 적용하여 단기 운동 특징을 추출한다.
• 공간적 특징과 운동 특징을 별도의 LSTM 네트워크에 입력하여 영상 프레임 간의 장기 시간적 의존성을 모델링한다.
• 가중치 공유와 드롭아웃을 통해 상호 특징 관계를 학습하는 정규화된 특징 융합 네트워크를 활용하여 영상 수준에서 공간적 및 운동적 특징을 융합한다.
• LSTM 기반의 시퀀스 모델링 예측과 영상 수준 융합 네트워크의 예측을 결합하여 최종 분류를 수행한다.
• 교차 엔트로피 손실을 사용하여 지도 학습을 통해 전체 프레임워크를 엔드 투 엔드로 훈련하며, 영상 수준의 분류 정확도를 최적화한다.

실험 결과

연구 질문

• RQ1 하이브리드 딥 러닝 프레임워크는 영상 분류에서 공간적, 단기 운동, 장기 시간적 신호를 효과적으로 모델링할 수 있는가?
• RQ2 공간적 특징과 운동적 특징 간의 정규화된 특징 융합이 영상 수준 분류에서 단순한 연결 또는 평균화보다 더 효과적인가?
• RQ3 LSTM을 활용한 시퀀스 모델링이 기존의 화면 순서에 민감하지 않은 분류 방법보다 의미 있는 성능 향상을 가져오는가?
• RQ4 표준 벤치마크인 UCF-101과 CCV에서 제안된 프레임워크는 최신 기준 방법들과 비교해 어떻게 성능을 낼 수 있는가?
• RQ5 '고양이' 또는 '강아지'와 같은 객체 중심 클래스에서도 LSTMs가 순차적 행동(예: 생일 party 이벤트)과 같은 시간 패턴을 효과적으로 포착할 수 있는가?

주요 결과

• 제안된 하이브리드 프레임워크는 UCF-101 데이터셋에서 기존의 방법들(이중 CNN 및 밀도 궤적 기반 모델 포함)을 초월하여 새로운 최고 성능인 91.3%의 정확도를 달성한다.
• 컬럼비아 소비자 영상(CCv) 데이터셋에서는 83.5%의 정확도를 기록하여 이 벤치마크에서 모든 이전 융합 기반 접근 방식을 크게 능가한다.
• LSTM 기반의 시퀀스 모델링과 영상 수준의 특징 융합 통합은 상당한 성능 향상을 이끌어내어 두 구성 요소 간의 강력한 상호 보완성을 입증한다.
• '고양이'와 '강아지'와 같은 객체 중심 클래스의 경우에도 LSTM 네트워크는 일관된 운동 행동과 같은 유용한 시간 패턴을 포착하여 정적 외관만으로는 불가능한 분류 성능 향상을 이룬다.
• 이 프레임워크는 높은 계산 효율성을 확보하여, 단일 NVIDIA Tesla K40 GPU에서 일반적인 8초 분량의 UCF-101 영상에 대해 특징 추출, CNN 추론 및 예측을 모두 16초 이내에 처리할 수 있다.