[논문 리뷰] DeepStory: Video Story QA by Deep Embedded Memory Networks

Kyung-Min Kim, Min-Oh Heo외 2명|arXiv (Cornell University)|2017. 07. 04.

Multimodal Machine Learning Applications참고 문헌 17인용 수 34

한 줄 요약

DeepStory는 깊이 있는 임bedding 메모리 네트워크(DEMN)를 도입하여 시각적 장면과 대화를 잠재 표현 공간을 통해 동시에 모델링함으로써 장기 기억 저장과 주의 기반 검색을 가능하게 한다. 이 모델은 새로운 Pororo 애니메이션 데이터셋과 MovieQA 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 엔드 투 엔드 학습과 주의 메커니즘을 통해 기존 방법을 능가한다.

ABSTRACT

Question-answering (QA) on video contents is a significant challenge for achieving human-level intelligence as it involves both vision and language in real-world settings. Here we demonstrate the possibility of an AI agent performing video story QA by learning from a large amount of cartoon videos. We develop a video-story learning model, i.e. Deep Embedded Memory Networks (DEMN), to reconstruct stories from a joint scene-dialogue video stream using a latent embedding space of observed data. The video stories are stored in a long-term memory component. For a given question, an LSTM-based attention model uses the long-term memory to recall the best question-story-answer triplet by focusing on specific words containing key information. We trained the DEMN on a novel QA dataset of children's cartoon video series, Pororo. The dataset contains 16,066 scene-dialogue pairs of 20.5-hour videos, 27,328 fine-grained sentences for scene description, and 8,913 story-related QA pairs. Our experimental results show that the DEMN outperforms other QA models. This is mainly due to 1) the reconstruction of video stories in a scene-dialogue combined form that utilize the latent embedding and 2) attention. DEMN also achieved state-of-the-art results on the MovieQA benchmark.

연구 동기 및 목표

• 풍부한 다중모odal 비디오 데이터로부터 학습함으로써 AI 에이전트가 비디오 스토리 질의 응답을 수행할 수 있도록 하는 것.
• 비디오 콘텐츠 내 장기적인 시간적 의존성과 복잡한 스토리라인을 이해하는 과제를 해결하는 것.
• 잠재적 임베딩을 사용하여 스토리 정보를 효과적으로 저장하고 검색하는 메모리 증강 아키텍처를 개발하는 것.
• 통합된 표현 공간에서 시각적 장면과 구두 대화를 동시에 모델링하여 QA 성능을 향상시키는 것.

제안 방법

• 비디오 장면과 대화로부터 공동 잠재 표현 공간을 학습하기 위해 깊이 있는 임bedding 메모리 네트워크(DEMN)를 제안한다.
• 모델은 시각적 및 텍스트 입력을 공유 표현 공간으로 임베딩하기 위해 인코더를 사용한다.
• 장기 메모리 컴포넌트는 학습된 임베딩을 사용하여 재구성된 비디오 스토리를 저장한다.
• LSTM 기반의 주의 메커니즘이 질문의 핵심 단어에 초점을 맞춰 관련된 스토리 스니펫을 검색한다.
• 장면-대화 쌍에 대한 재구성 목표와 스토리 관련 질문-답변 쌍에 대한 QA 목표를 사용하여 네트워크를 엔드 투 엔드로 훈련한다.
• 추론 중 주의 메커니즘을 적용하여 질문에 가장 관련성이 높은 메모리 내용을 동적으로 선택한다.

실험 결과

연구 질문

• RQ1 통합된 메모리 네트워크는 시각적 및 언어적 입력을 결합하여 비디오 스토리를 효과적으로 학습하고 재구성할 수 있는가?
• RQ2 메모리 증강 네트워크 내 주의 메커니즘은 질문 응답을 위한 관련 스토리 정보를 얼마나 잘 검색하는가?
• RQ3 장면과 대화를 동시에 모델링하는 것이 모odal 특화 접근법에 비해 비디오 스토리 QA 성능을 향상시키는가?
• RQ4 제안된 DEMN 아키텍처는 MovieQA와 같은 벤치마크 데이터셋으로 일반화되는 정도는 어느 정도인가?

주요 결과

• DEMN 모델은 MovieQA 벤치마크에서 최신 기술 수준 성능을 달성하여 훈련 데이터셋 외부로도 강력한 일반화 능력을 보였다.
• Pororo 데이터셋에서 모델은 기존 QA 모델을 능가하며, 공동 장면-대화 모델링과 주의 메커니즘 덕분에 상당한 성능 향상을 기록했다.
• 제거 실험 결과 잠재 표현 공간과 주의 메커니즘이 성능 향상에 핵심적인 역할을 한다는 것이 확인되었다.
• 모델은 장면-대화 쌍에서 비디오 스토리를 효과적으로 재구성하여 시간적 및 의미적 일관성 학습이 잘 이루어졌음을 시사한다.
• 장기 메모리의 사용은 모델이 장기간에 걸친 비디오 시퀀스 동안 스토리 정보를 유지하고 검색할 수 있도록 한다.
• 결과는 시각적 신호와 언어 신호를 동시에 학습함으로써 복잡한 비디오 내러티브에 대한 추론 능력이 향상됨을 검증한다.