[논문 리뷰] Video Captioning with Transferred Semantic Attributes

Yingwei Pan, Ting Yao외 2명|arXiv (Cornell University)|2016. 11. 23.

Multimodal Machine Learning Applications참고 문헌 35인용 수 16

한 줄 요약

이 논문은 종단간 LSTM 기반 인코더-디코더 프레임워크에 이미지와 영상에서 유도된 이전 의미적 특징을 통합함으로써 문장 생성을 향상시키는 새로운 비디오 캡션 모델인 LSTM-TSA를 제안한다. 동적 전이 유닛을 도입하여 이미지 및 영상 특징 간의 맥락적 균형을 조절함으로써, MSVD 데이터셋에서 52.8% BLEU@4 및 74.0% CIDEr-D의 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Automatically generating natural language descriptions of videos plays a fundamental challenge for computer vision community. Most recent progress in this problem has been achieved through employing 2-D and/or 3-D Convolutional Neural Networks (CNN) to encode video content and Recurrent Neural Networks (RNN) to decode a sentence. In this paper, we present Long Short-Term Memory with Transferred Semantic Attributes (LSTM-TSA)---a novel deep architecture that incorporates the transferred semantic attributes learnt from images and videos into the CNN plus RNN framework, by training them in an end-to-end manner. The design of LSTM-TSA is highly inspired by the facts that 1) semantic attributes play a significant contribution to captioning, and 2) images and videos carry complementary semantics and thus can reinforce each other for captioning. To boost video captioning, we propose a novel transfer unit to model the mutually correlated attributes learnt from images and videos. Extensive experiments are conducted on three public datasets, i.e., MSVD, M-VAD and MPII-MD. Our proposed LSTM-TSA achieves to-date the best published performance in sentence generation on MSVD: 52.8% and 74.0% in terms of BLEU@4 and CIDEr-D. Superior results when compared to state-of-the-art methods are also reported on M-VAD and MPII-MD.

연구 동기 및 목표

• 기존의 비디오 캡션 모델이 고수준의 의미적 신호를 충분히 활용하지 못하는 문제를 해결하기 위해 캡션 생성 파이프라인에 의미적 특징을 통합하고자 한다.
• 정적 콘텐츠(이미지)에서 추출한 의미적 특징과 시간적 동적 특징(영상) 간의 상보성을 문장 생성 과정에서 효과적으로 활용하고자 한다.
• 현재 입력 단어와 LSTM 히든 상태에 기반하여 주의 메커니즘과 유사한 가중치를 동적으로 계산하는 전이 유닛을 설계하여 맥락 인식형 융합을 가능하게 하여 캡션 품질을 향상시키고자 한다.
• 다중 영상 프레임을 통해 보다 효과적인 특징 학습을 가능하게 하는 통합적인 비디오 MIL 프레임워크를 개발하여 의미 표현을 향상시키고자 한다.

제안 방법

• 샘플링된 영상 프레임에서 시각적 특징을 추출하기 위해 2D/3D 컬러네이션 신경망(CNNs)을 활용하고, 평균 풀링을 통해 영상 표현을 생성한다.
• 모든 영상 프레임에서 의미적 특징을 동시에 학습하기 위해 영상 전용 다중 예외 학습(MIL) 프레임워크를 도입하여, 개별 프레임 학습 대비 통합적인 의미 이해도를 향상시킨다.
• 영상 표현과 의미적 특징을 모두 입력으로 받는 LSTM 디코더를 활용하며, 이미지와 영상 양쪽에서 유도된 특징을 강화하여 사용한다.
• 현재 입력 단어와 LSTM 히든 상태에 기반하여 주의 메커니즘과 유사한 가중치를 동적으로 계산하는 전이 유닛을 설계하여 이미지 및 영상 특징의 맥락 인식형 융합을 가능하게 한다.
• 각 타임스텝에서 갱신되는 게이트 파rameter를 활용하여 이미지 및 영상 특징의 가중 조합을 계산하는 게이팅 메커니즘(LSTM-TSA IV 변종)을 도입하여 적응형 제어를 구현한다.
• 전체 모델을 종단간으로 훈련시켜 시각적 특징 추출, 특징 학습, 문장 생성을 함께 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 이미지와 영상에서 추출한 의미적 특징을 효과적으로 융합하여 비디오 캡션 성능을 향상시킬 수 있는가?
• RQ2 정적 이미지 특징과 동적 영상 특징 간의 상보적인 의미를 문장 생성 과정에서 맥락 인식형 방식으로 활용할 수 있는가?
• RQ3 비디오 전용 통합적 MIL 프레임워크가 비디오 캡션에서 개별 프레임 수준의 MIL 학습보다 성능을 높일 수 있는가?
• RQ4 입력 단어와 히든 상태에 따라 적응하는 동적 전이 유닛이 고정 또는 요소별 합산 융합 방식보다 캡션 품질 향상에 얼마나 기여하는가?

주요 결과

• 제안된 LSTM-TSA 모델은 MSVD 데이터셋에서 52.8% BLEU@4 및 74.0% CIDEr-D를 기록하여 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.
• 비디오 전용 통합적 MIL 프레임워크는 개별 프레임 수준의 MIL 학습보다 성능을 크게 향상시키며, MSVD에서 CIDEr-D를 70.6%에서 71.7%로 상승시킨다.
• 이미지 및 영상 특징에 모두 학습된 가중치를 적용하는 동적 전이 유닛(LSTM-TSA IV₃)이 가장 높은 성능을 기록하여, BLEU@4 52.8% 및 CIDEr-D 74.0%를 달성한다.
• 각 타임스텝에서 변화하는 전이 게이트를 사용할 경우 고정된 요소별 합산 융합(LSTM-TSA IV₀) 대비 일관되게 성능 향상을 보이며 맥락 인식형 융합의 유용성을 입증한다.
• M-VAD 및 MPII-MD 데이터셋에서도 LSTM-TSA는 최신 기술 수준의 방법들보다 뛰어난 성능을 기록하여 다양한 데이터셋에 대한 일반화 능력을 확인한다.
• 제거 실험 결과, 동적 가중치를 적용하여 두 소스의 특징을 융합할 경우 성능 향상이 가장 크게 나타나, 이미지 및 영상 의미의 상보성의 타당성을 검증한다.