[논문 리뷰] Jointly Modeling Embedding and Translation to Bridge Video and Language

Yingwei Pan, Tao Mei외 3명|arXiv (Cornell University)|2015. 05. 07.

Multimodal Machine Learning Applications참고 문헌 33인용 수 29

한 줄 요약

이 논문은 2D/3D 컨volution 신경망을 통한 비디오 표현 학습, LSTM에 의한 문장 생성, 시각-언어적 임베딩을 통한 비디오 콘텐츠와 자연어 기술 간의 전역적 의미 일치 강제화를 통합적으로 수행하는 LSTM-E라는 통합 프레임워크를 제안한다. 국소적 일관성(문장 생성을 통한 LSTM)과 전역적 관련성(임베딩 공간을 통한)을 동시에 최적화함으로써, LSTM-E는 YouTube2Text에서 최신 기술 성능을 달성하여 BLEU@4 45.3% 및 METEOR 31.0%를 기록하였으며, 주어진-동사-목적어 삼중항 예측에서 뚜렷한 향상을 보였다.

ABSTRACT

Automatically describing video content with natural language is a fundamental challenge of multimedia. Recurrent Neural Networks (RNN), which models sequence dynamics, has attracted increasing attention on visual interpretation. However, most existing approaches generate a word locally with given previous words and the visual content, while the relationship between sentence semantics and visual content is not holistically exploited. As a result, the generated sentences may be contextually correct but the semantics (e.g., subjects, verbs or objects) are not true. This paper presents a novel unified framework, named Long Short-Term Memory with visual-semantic Embedding (LSTM-E), which can simultaneously explore the learning of LSTM and visual-semantic embedding. The former aims to locally maximize the probability of generating the next word given previous words and visual content, while the latter is to create a visual-semantic embedding space for enforcing the relationship between the semantics of the entire sentence and visual content. Our proposed LSTM-E consists of three components: a 2-D and/or 3-D deep convolutional neural networks for learning powerful video representation, a deep RNN for generating sentences, and a joint embedding model for exploring the relationships between visual content and sentence semantics. The experiments on YouTube2Text dataset show that our proposed LSTM-E achieves to-date the best reported performance in generating natural sentences: 45.3% and 31.0% in terms of BLEU@4 and METEOR, respectively. We also demonstrate that LSTM-E is superior in predicting Subject-Verb-Object (SVO) triplets to several state-of-the-art techniques.

연구 동기 및 목표

• 기존의 비디오 요약 모델이 문장 생성을 국소적으로 최적화할 뿐만 아니라 문장과 비디오 콘텐츠 간의 전역적 의미 일치를 강제하지 않는 한계를 해결하기 위해.
• 문장 내 주어, 동사, 목적어가 비디오 콘텐츠를 정확히 반영하도록 보장하여 생성된 기술의 사실적 정확성을 향상시키기 위해.
• 문장 생성(LSTM를 통한)과 시각-언어적 임베딩을 동시에 최적화하는 통합 딥 러닝 프레임워크를 개발하기 위해.
• 전역적 시각-언어적 임베딩 공간을 통합함으로써 문장 생성 품질과 SVO 삼중항 예측 정확도가 향상됨을 입증하기 위해.

제안 방법

• 프레임 또는 클립에서 시각적 특징을 추출하기 위해 2D 및/또는 3D 컨volution 신경망(CNNs)을 사용하고, 평균 풀링을 통해 압축된 비디오 표현을 생성한다.
• 장기 단기 기억(LSTM) 네트워크가 비디오 표현과 이전 단어에 조건부로 단계적으로 자연어 문장을 생성한다.
• 시각-언어적 임베딩 모델이 비디오 표현과 문장 임베딩을 공유하는 벡터 공간으로 매핑하여 의미적 관련성을 측정하고 강제한다.
• 통합 손실을 최소화함으로써 엔드 투 엔드로 모델을 훈련한다: 국소적 일관성 손실(표준 크로스 엔트로피)과 문장 및 비디오 간의 공유 공간 내 거리 측정을 통한 관련성 손실.
• 두 손실 간의 트레이드오프는 하이퍼파ram터 λ로 제어되며, 이는 국소적 유창성과 전역적 의미 정확성 간의 균형을 맞추는 데 사용된다.
• 백본 네트워크(예: VGG, C3D, AlexNet)와 LSTM의 은닉층 크기의 영향을 분석하기 위해 아블레이션 스터디를 수행하며, YouTube2Text 데이터셋을 사용해 평가한다.

실험 결과

연구 질문

• RQ1 LSTM와 함께 시각-언어적 임베딩을 공동으로 학습함으로써, 국소적 단어 예측을 넘어서 비디오 요약의 사실적 정확성이 향상되는가?
• RQ2 전역적 의미 일치 손실이 포함될 경우 생성된 문장의 품질과 SVO 삼중항 예측에 어떤 영향을 미치는가?
• RQ3 비디오 요약에서 국소적 일관성(LSTM 손실)과 전역적 관련성(임베딩 손실) 간의 최적 트레이드오프는 무엇인가?
• RQ4 다양한 비디오 백본 네트워크(2D/3D CNNs)와 LSTM 은닉층 크기가 성능에 어떤 영향을 미치는가?

주요 결과

• LSTM-E는 YouTube2Text 데이터셋에서 최신 기술 성능을 달성하여, BLEU@4 45.3% 및 METEOR 31.0%를 기록하였으며, 이는 이전 방법들을 능가한다.
• 주어-동사-목적어(SVO) 삼중항 예측 성능이 크게 향상되었으며, VGG를 사용할 경우 29.5% METEOR, C3D를 사용할 경우 29.9% METEOR를 기록하였고, VGG와 C3D를 병합할 경우 31.0%를 달성하였다.
• 국소적 일관성과 관련성 손실 간의 최적 트레이드오프 파rameter λ는 약 0.7로 확인되었으며, 정규화된 지표를 사용한 성능 곡선을 통해 이를 입증하였다.
• LSTM 은닉층 크기를 128에서 512로 증가시킬수록 성능 향상이 있었으며, 512가 가장 우수한 성능(45.3% BLEU@4, 31.0% METEOR)을 기록하였다.
• LSTM-E(VGG+C3D)는 베이스라인 모델보다 더 정확하고 유창한 문장을 생성하였으며, 비디오 콘텐츠에 대한 주어, 동사, 목적어의 일치도 향상되었다.