[논문 리뷰] Modeling Multimodal Clues in a Hybrid Deep Learning Framework for Video Classification

Yu–Gang Jiang, Zuxuan Wu외 4명|arXiv (Cornell University)|2017. 06. 14.

Human Pose and Action Recognition참고 문헌 52인용 수 6

한 줄 요약

이 논문은 세 개의 CNN과 두 개의 LSTM을 통해 공간적, 운동, 청각 및 장기적 시간적 특징을 통합하는 하이브리드 딥러닝 프레임워크를 제안한다. 이후 정규화된 특징 융합 네트워크와 문맥 보완을 거친다. 이 방법은 UCF-101에서 93.1%의 정확도와 CCV에서 84.5%의 정확도를 기록하며, 다중모odal 및 순차적 비디오 단서를 효과적으로 모델링함으로써 기존 최고 성능 방법들보다 명확한 격차를 확보한다.

ABSTRACT

Videos are inherently multimodal. This paper studies the problem of how to fully exploit the abundant multimodal clues for improved video categorization. We introduce a hybrid deep learning framework that integrates useful clues from multiple modalities, including static spatial appearance information, motion patterns within a short time window, audio information as well as long-range temporal dynamics. More specifically, we utilize three Convolutional Neural Networks (CNNs) operating on appearance, motion and audio signals to extract their corresponding features. We then employ a feature fusion network to derive a unified representation with an aim to capture the relationships among features. Furthermore, to exploit the long-range temporal dynamics in videos, we apply two Long Short Term Memory networks with extracted appearance and motion features as inputs. Finally, we also propose to refine the prediction scores by leveraging contextual relationships among video semantics. The hybrid deep learning framework is able to exploit a comprehensive set of multimodal features for video classification. Through an extensive set of experiments, we demonstrate that (1) LSTM networks which model sequences in an explicitly recurrent manner are highly complementary with CNN models; (2) the feature fusion network which produces a fused representation through modeling feature relationships outperforms alternative fusion strategies; (3) the semantic context of video classes can help further refine the predictions for improved performance. Experimental results on two challenging benchmarks, the UCF-101 and the Columbia Consumer Videos (CCV), provide strong quantitative evidence that our framework achieves promising results: $93.1\%$ on the UCF-101 and $84.5\%$ on the CCV, outperforming competing methods with clear margins.

연구 동기 및 목표

• 기존 비디오 분류 방법이 운동, 청각 및 장기적 시간적 동역학과 같은 다중모달 단서를 충분히 활용하지 못하는 한계를 해결하기 위해.
• 통합된 딥러닝 프레임워크를 통해 공간적, 운동, 청각 및 장기적 시간적 특징을 융합하여 비디오 분류 성능을 향상시키기 위해.
• 비디오 시퀀스 내 국소적 시공간 패턴과 장기적 의존성을 동시에 모델링하기 위해 CNN과 LSTM을 조합하는 효과를 탐색하기 위해.
• 비디오 클래스 간 의미적 문맥적 관계를 활용하여 예측 성능을 향상시키기 위해.
• 학습된 관계와 문맥 보완이 특징 융합을 통해 분류 정확도를 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• RGB 프레임(공간적 외관), 스택된 옵티컬 플로우 이미지(운동 패턴), 청각 스펙트로그램(청각 신호)에서 특징을 추출하기 위해 세 개의 별도한 컨volutional 신경망(CNN)을 사용한다.
• 추출된 공간적 및 운동적 특징을 순차적 인식 방식으로 처리하기 위해 두 개의 장기 단기 기억(LSTM) 네트워크를 사용한다.
• CNN 및 LSTM의 출력을 통합된 표현으로 융합하기 위해 정규화된 특징 융합 네트워크를 사용하며, 다중모달 특징 간의 관계를 명시적으로 모델링한다.
• 최종 예측 점수는 LSTM 모델의 출력과 융합된 표현의 출력을 조합한 후, 비디오 클래스 간 의미적 관계를 활용한 문맥 보완을 거쳐 생성된다.
• 과적합을 방지하고 일반화 성능을 향상시키기 위해 융합 및 보완 단계에서 가중치 공유와 드롭아웃 정규화를 적용한다.
• 전체 시스템은 교차 엔트로피 손실을 최적화하기 위해 확률적 경사 하강법를 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 장기적 시간적 의존성을 모델링하는 LSTM이 국소적 시공간 패턴을 추출하는 CNN과 비디오 분류에서 어떻게 상보적으로 작용하는가?
• RQ2 특징 간 상호관계를 모델링하는 학습된 정규화된 특징 융합 네트워크가 단순한 연결 또는 평균화 전략보다 우수한 성능을 내는가?
• RQ3 비디오 클래스 간 의미적 문맥적 관계가 예측 정확도 향상에 얼마나 기여하는가?
• RQ4 비디오만을 고려하는 모델 대비 청각 신호의 통합이 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 하이브리드 프레임워크가 표준 비디오 분류 벤치마크에서 최고 성능을 달성하는가?

주요 결과

• 제안된 하이브리드 프레임워크는 UCF-101 데이터셋에서 상위 1위 정확도 93.1%를 기록하며, 이는 이전 최고 성능 방법들보다 뚜렷한 격차로 뛰어나다.
• 컬럼비아 소비자 비디오(CCv) 데이터셋에서는 84.5%의 정확도를 기록하며, 경쟁 기법들보다 명확한 격차로 승리한다.
• 장기적 시간적 동역학을 모델링하는 LSTM 네트워크는 CNN와 매우 상보적이며, 이들의 융합이 성능 향상에 상당한 기여를 한다.
• 다중모달 특징 간 관계를 모델링하는 정규화된 특징 융합 네트워크는 초기 융합 또는 후기 융합과 같은 단순한 융합 전략보다 우수한 성능을 보인다.
• 비디오 클래스 간 의미적 관계를 활용한 문맥 보완은 특히 '새'나 '웨딩 리셉션'과 같은 저성능 클래스에서 예측 성능 향상에 기여한다.
• 프레임워크는 뛰어난 효율성을 보이며, 단일 NVIDIA Tesla K40 GPU에서 UCF-101 비디오 클립을 약 20.8초에 분류할 수 있다. 특징 추출 및 추론이 주요 처리 시간을 차지한다.