[논문 리뷰] Sequence to Sequence -- Video to Text

Subhashini Venugopalan, Marcus Rohrbach외 4명|arXiv (Cornell University)|2015. 05. 03.

Multimodal Machine Learning Applications참고 문헌 43인용 수 193

한 줄 요약

이 논문은 변수 길이의 영상 입력(프레임)을 자연어 문장 요약으로 매핑하는 시퀀스-투-시퀀스 딥 러닝 모델인 S2VT를 제안한다. 스택형 LSTM을 사용하여 명시적 어텐션 없이 시간적 영상 다이내믹스와 언어 모델링을 동시에 학습함으로써 MSVD, MPII-MD, M-VAD 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, METEOR 점수에서 이전 방법 대비 최대 1.5%p 향상되었다.

ABSTRACT

Real-world videos often have complex dynamics; and methods for generating open-domain video descriptions should be sensitive to temporal structure and allow both input (sequence of frames) and output (sequence of words) of variable length. To approach this problem, we propose a novel end-to-end sequence-to-sequence model to generate captions for videos. For this we exploit recurrent neural networks, specifically LSTMs, which have demonstrated state-of-the-art performance in image caption generation. Our LSTM model is trained on video-sentence pairs and learns to associate a sequence of video frames to a sequence of words in order to generate a description of the event in the video clip. Our model naturally is able to learn the temporal structure of the sequence of frames as well as the sequence model of the generated sentences, i.e. a language model. We evaluate several variants of our model that exploit different visual features on a standard set of YouTube videos and two movie description datasets (M-VAD and MPII-MD).

연구 동기 및 목표

• 변수 길이의 입력 및 출력 시퀀스를 가진 영상에 대해 개방형, 자연어 기반의 설명을 생성하는 문제를 해결하기 위해.
• 영상 프레임의 시간적 구조와 자연어 설명의 순차적 문법을 종합적으로 모델링하는 엔드 투 엔드 학습 가능한 프레임워크를 제공하기 위해.
• 템플릿 기반 또는 두 단계 파ip라인에 의존하지 않고, 시각적 표현과 언어 생성을 공동으로 학습하여 영상 요약 성능을 향상시키기 위해.
• 유튜브 영상과 영화 코퍼스를 포함한 다양한 데이터셋에서 모델을 평가하여 강건성과 일반화 능력을 입증하기 위해.
• 간단한 시퀀스-투-시퀀스 아키텍처에 LSTMs와 다중 모odal 시각 입력(RGB 및 옵티컬 플로우)을 적용할 경우, 복잡한 어텐션 기반 모델보다도 뛰어난 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 모델은 영상 프레임의 시퀀스를 숨겨진 상태 표현으로 압축하기 위해 스택형 장기 단기 기억(LSTM) 네트워크를 사용한다.
• 각 프레임은 VGG와 같은 사전 훈련된 컨volution 신경망(CNN)을 거쳐 시각적 특징을 추출하며, 이 특징들은 순차적으로 인코더 LSTM에 입력된다.
• 연속된 프레임 간의 옵티컬 플로우 특징도 별도의 CNN을 통해 추출되어 인코더 LSTM에 입력되어 운동 다이내믹스를 포착한다.
• 인코더의 최종 은닉 상태는 디코더 LSTM의 초기 상태로 사용되며, 이는 자동적으로 한 단어씩 순차적으로 단어 시퀀스를 생성한다.
• 예측된 요약 시퀀스와 진짜 요약 시퀀스 간의 차이를 최소화하기 위해 교차 엔트로피 손실을 사용하여 전체 모델을 엔드 투 엔드로 훈련한다.
• 과적합을 방지하기 위해 인코더 및 디코더 LSTM의 입력 및 출력 레이어에 드롭아웃을 적용하며, 특히 작은 영화 데이터셋에서 효과적이다.

실험 결과

연구 질문

• RQ1 LSTM 기반의 시퀀스-투-시퀀스 모델이 영상 프레임 내의 시간적 종속성을 효과적으로 학습하고 문법적으로 올바른 기술 문장을 생성할 수 있는가?
• RQ2 시각적 인코딩과 언어 생성을 공동으로 학습하는 것이 두 단계 또는 템플릿 기반 요약 접근 방식보다 우월한가?
• RQ3 옵티컬 플로우 특징을 포함할 경우 RGB만 사용하는 경우에 비해 영상 요약 성능이 어떻게 향상되는가?
• RQ4 유튜브 클립과 영화 장면과 같은 다양한 영상 도메인에 대해 아키텍처 수정 없이 일반화 가능한가?
• RQ5 추가 훈련 데이터에 따라 모델 성능이 어떻게 변화하는가? 기준 데이터셋에서 최신 기술 수준 방법과 비교했을 때 성능는 어떠한가?

주요 결과

• MSVD 데이터셋에서 S2VT는 METEOR 점수 18.5%를 기록하여 이전 방법을 능가하며, 표준 유튜브 영상 요약 벤치마크에서 강력한 성능을 보였다.
• MPII-MD 데이터셋에서 S2VT는 METEOR 점수 7.1%를 기록하여 SMT 기반 베이스라인(5.6%)과 평균 풀링 베이스라인(6.7%)을 모두 초월했으며, 도전적인 영화 설명 데이터셋에서의 뚜렷한 향상을 보였다.
• M-VAD 데이터셋에서 S2VT는 METEOR 점수 6.7%를 기록하여 시간적 어텐션 모델(4.3%)과 평균 풀링(6.1%)을 모두 능가했으며, 복잡한 영화 장면에서의 뛰어난 일반화 능력을 입증했다.
• 통합 LSMDC 도전 대회에서 S2VT는 공개 테스트 세트에서 METEOR 점수 7.0%를 기록하여 다양한 영화 설명에 걸쳐 강력한 성능을 보였다.
• MSVD에서 생성된 문장 중 42.9%가 훈련 문장과 정확히 일치하며, 81.2%는 한 번의 수정 거리 이내에 포함되어 있어 높은 관련성과 언어 품질을 보였다.
• 모델는 높은 모델 용량과 일반화 능력을 보이며, 더 큰 데이터셋에서 성능 향상이 뚜렷하게 나타나 스케일러빌리티와 도메인 이동에 대한 강건성을 시사한다.