[논문 리뷰] Video Description Generation Incorporating Spatio-Temporal Features and a Soft-Attention Mechanism

Yao Li, Atousa Torabi외 5명|arXiv (Cornell University)|2015. 02. 27.

Multimodal Machine Learning Applications참고 문헌 37인용 수 47

한 줄 요약

이 논문은 비디오 프레임에서 추출한 스파티오-temporal 특징과 소프트-어텐션 메커니즘을 사용한 LSTM 네트워크를 활용한 비디오 설명 생성 모델을 제안한다. 정적 프레임 특징과 운동 기반 특징을 결합하고 소프트-어텐션을 적용함으로써, YouTube2Text 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 BLEU 및 METEOR 지표에서 이전 방법들을 능가한다.

ABSTRACT

Recent progress in using recurrent neural networks (RNNs) for image description has motivated us to explore the application of RNNs to video description. Recent work has also suggested that attention mechanisms may be able to increase performance. To this end, we apply a long short-term memory (LSTM) network in two configurations: with a recently introduced soft-attention mechanism, and without. Our results suggest two things. First, incorporating a soft-attention mechanism into the text generation RNN significantly improves the quality of the descriptions. Second, using a combination of still frame features and dynamic motion-based features can also help. Ultimately, our combined approach exceeds the state-of-art on both BLEU and Meteor on the Youtube2Text dataset. We also present results on a new, larger and more complex dataset of paired video and natural language descriptions based on the use of Descriptive Video Service (DVS) annotations which are now widely available as an additional audio track on many DVDs.

연구 동기 및 목표

• 이미지 캡션 생성에서 비디오 설명 생성으로 확장된 순환 신경망(RNNs)의 적용을 위한 연구.
• 어텐션 메커니즘이 비디오 설명 품질 향상에 기여하는지 탐구하기.
• 비디오 캡션에서 정적 프레임 특징과 동적 운동 특징을 결합하는 것이 효과적인지 평가하기.
• 더 큰, 더 복잡한 Descriptive Video Service(DVS) 애너테이션 데이터셋을 활용해 새로운 벤치마크 수립하기.
• 표준 비디오 캡션 평가 지표에서 최신 기술 수준의 성능 달성하기.

제안 방법

• 비디오 설명 생성의 시퀀스 생성에 장기 단기 기억(LSTM) 네트워크를 사용한다.
• 캡션 생성 중 관련된 비디오 영역에 동적으로 집중하기 위해 소프트-어텐션 메커니즘을 적용한다.
• 개별 비디오 프레임의 공간적 특징과 비디오 클립의 시간적 운동 특징을 모두 통합한다.
• 비디오 클립과 자연어 기반 설명이 짝지어진 데이터를 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• LSTM에 입력하기 전에 정적 프레임 특징과 운동 특징을 추출하고 통합하기 위해 이중 인코더 아키텍처를 활용한다.
• 모델의 일반화 능력과 강건성을 평가하기 위해 새로운 대규모 DVS-애너테이션 비디오 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 표준 LSTM 기반 모델 대비 소프트-어텐션 메커니즘을 통합함으로써 비디오 설명 품질이 향상되는가?
• RQ2 정적 프레임 특징과 운동 기반 특징을 조합하면 비디오 캡션 모델의 성능 향상에 기여하는가?
• RQ3 제안된 모델은 더 큰, 더 복잡한 DVS-애너테이션 비디오 데이터셋에서 기존 벤치마크 대비 어떻게 성능을 내는가?
• RQ4 BLEU 및 METEOR와 같은 표준 평가 지표에서 모델이 최신 기술 수준을 얼마나 초월하는가?

주요 결과

• LSTM 기반 텍스트 생성 네트워크에 소프트-어텐션 메커니즘을 통합함으로써 생성된 비디오 설명의 품질이 크게 향상된다.
• 정적 프레임 특징과 동적 운동 기반 특징을 조합하면 별도로 사용할 경우보다 더 높은 성능을 달성한다.
• 제안된 모델은 YouTube2Text 데이터셋에서 최신 기술 수준의 성능을 달성하여 BLEU 및 METEOR 지표에서 이전 방법들을 능가한다.
• 새로 도입된 더 큰, 더 복잡한 Descriptive Video Service(DVS) 애너테이션 데이터셋에서 강력한 일반화 능력을 보여준다.
• DVS-애너테이션 비디오를 훈련 및 평가 자원으로 활용함으로써 비디오 캡션에 더 현실적이고 다양한 벤치마크를 제공한다.