[논문 리뷰] Bidirectional Long-Short Term Memory for Video Description

Yi Bin, Yang Yang외 4명|arXiv (Cornell University)|2016. 06. 15.

Multimodal Machine Learning Applications참고 문헌 31인용 수 16

한 줄 요약

이 논문은 CNN 특징과 양방향 LSTM를 사용하여 영상 프레임 내의 전방 및 후방 시간적 의존성을 동시에 모델링하는 양방향 장단기 기억망(BiLSTM) 기반의 영상 캡션 생성 프레임워크를 제안한다. 영상 인코딩과 언어 생성을 분리하고, 풍부한 양방향 영상 표현으로 언어 모델을 초기화함으로써, MSVD 벤치마크에서 최신 기술을 초월하여 METEOR 점수로 3% 이상 향상된 성능을 달성한다.

ABSTRACT

Video captioning has been attracting broad research attention in multimedia community. However, most existing approaches either ignore temporal information among video frames or just employ local contextual temporal knowledge. In this work, we propose a novel video captioning framework, termed as \emph{Bidirectional Long-Short Term Memory} (BiLSTM), which deeply captures bidirectional global temporal structure in video. Specifically, we first devise a joint visual modelling approach to encode video data by combining a forward LSTM pass, a backward LSTM pass, together with visual features from Convolutional Neural Networks (CNNs). Then, we inject the derived video representation into the subsequent language model for initialization. The benefits are in two folds: 1) comprehensively preserving sequential and visual information; and 2) adaptively learning dense visual features and sparse semantic representations for videos and sentences, respectively. We verify the effectiveness of our proposed video captioning framework on a commonly-used benchmark, i.e., Microsoft Video Description (MSVD) corpus, and the experimental results demonstrate that the superiority of the proposed approach as compared to several state-of-the-art methods.

연구 동기 및 목표

• 기존 영상 캡션 생성 방법이 영상 시퀀스에서 양방향 글로벌 시간적 의존성을 모델링하지 못하는 한계를 해결한다.
• 일방향 RNN과 풀링 기반 영상 표현이 순차적 맥락을 상실하는 문제점을 보완한다.
• 영상과 언어 생성을 별도로 모델링하여 조밀한 시각적 특징과 희박한 의미적 문장 표현을 적응적으로 학습한다.
• CNN 특징과 양방향 LSTM 인코딩을 통합하고, 이를 바탕으로 유도된 영상 표현으로 언어 모델을 초기화함으로써 영상 캡션 생성 성능을 향상시킨다.

제안 방법

• 전방 및 후방 LSTM 통과를 조합한 공동 시각 모델링 방법을 사용하여, 영상 내에서 양방향 글로벌 시간적 구조를 포착한다. 이는 CNN 임bedded 특징과 함께 적용된다.
• 전방 및 후방 LSTM의 은닉 상태를 원본 CNN 특징과 통합하여 통합적이고 맥락이 풍부한 영상 표현을 형성한다.
• 유도된 영상 표현을 사용해 LSTM 기반 언어 모델을 초기화하여 문장 생성을 수행함으로써 의미적 일관성을 확보한다.
• 영상 인코딩과 언어 생성을 별도의 LSTM 네트워크를 사용하여 분리함으로써, 영상 특징 인코딩과 텍스트 생성을 분리한다.
• 강화 학습을 적용하여 BiLSTM 모델을 보정함으로써 정책 기반 기울기 최적화를 통해 생성 품질을 향상시킨다.
• METEOR를 주요 평가 지표로 사용하며, WordNet 기반 매칭기법을 활용해 생성된 캡션의 의미 유사도를 측정한다.

실험 결과

연구 질문

• RQ1 영상 시퀀스에서 과거와 미래 맥락을 모두 포착함으로써, 양방향 LSTM 모델링이 영상 캡션 생성 성능을 향상시킬 수 있는가?
• RQ2 영상 인코딩과 언어 생성을 분리하면, 종단간 RNN 모델 대비 더 나은 표현 학습과 캡션 품질을 달성할 수 있는가?
• RQ3 양방향 영상 표현을 언어 모델 초기화에 통합할 경우, 생성된 캡션의 의미 풍부성과 유창성에 어떤 영향을 미치는가?
• RQ4 지난 최신 기술 모델들이 국소적 시간적 모델링이나 일방향 인코딩에 의존하는 것과 비교해, 제안된 방법이 어느 정도 뛰어난 성능을 보이는가?

주요 결과

• 제안된 BiLSTM-강화 모델은 MSVD 벤치마크에서 30.3%의 METEOR 점수를 기록하여, 비교된 모든 최신 기술 모델을 압도한다.
• 양방향 공동 LSTM 모델은 일방향 대비 0.4% 향상된 성능(29.9% 대비 29.5%)을 기록하여, 양방향 시간적 모델링의 유용성을 입증한다.
• BiLSTM-강화 모델은 일방향 전용 모델 대비 3% 이상 향상된 성능을 기록하여, 양방향 인코딩과 별도의 모델링 전략의 효과를 확인한다.
• 공동 LSTM 아키텍처는 S2VT 기반 모델보다 뚜렷한 성능 향상을 보이며, 작업 특화로 미세조정된 특징이 아닌 일반 CNN 특징을 사용하는 경우에도 성능이 뛰어나다.
• C3D와 어텐션 메커니즘을 사용한 강력한 베이스라인(29.6% METEOR)을 뛰어넘어, 국소적 시간 모델링을 넘어서 양방향 인코딩이 보완적인 이점을 제공한다는 것을 시사한다.
• 모델은 특징 선택에 대해 강건성을 보이며, RGB+Flow 특징을 사용하는 모델보다 일반적인 VGG 특징을 사용할 때도 뛰어난 성능을 기록하여 더 강력한 일반화 능력을 가짐을 시사한다.