[논문 리뷰] Movie Question Answering: Remembering the Textual Cues for Layered Visual Contents

Bo Wang, Youjiang Xu외 2명|arXiv (Cornell University)|2018. 04. 25.

Multimodal Machine Learning Applications참고 문헌 27인용 수 6

한 줄 요약

이 논문은 영화 질의 응답을 위한 계층적 메모리 아키텍처를 통해 시각적 특징과 자막을 통합하는 계층적 메모리 네트워크(LMN)를 제안한다: 정적 단어 메모리 모듈은 프레임 수준의 시각-언어 대응을 인코딩하고, 동적 자막 메모리 모듈은 클립 수준의 시간적 정렬을 포착한다. 이 모델은 2017년 9월 기준 온라인 평가 서버에서 '비디오+자막' 벤치마크에서 최고 성능을 기록하여 최신 기술 수준(SOTA)을 달성하였다.

ABSTRACT

Movies provide us with a mass of visual content as well as attracting stories. Existing methods have illustrated that understanding movie stories through only visual content is still a hard problem. In this paper, for answering questions about movies, we put forward a Layered Memory Network (LMN) that represents frame-level and clip-level movie content by the Static Word Memory module and the Dynamic Subtitle Memory module, respectively. Particularly, we firstly extract words and sentences from the training movie subtitles. Then the hierarchically formed movie representations, which are learned from LMN, not only encode the correspondence between words and visual content inside frames, but also encode the temporal alignment between sentences and frames inside movie clips. We also extend our LMN model into three variant frameworks to illustrate the good extendable capabilities. We conduct extensive experiments on the MovieQA dataset. With only visual content as inputs, LMN with frame-level representation obtains a large performance improvement. When incorporating subtitles into LMN to form the clip-level representation, we achieve the state-of-the-art performance on the online evaluation task of 'Video+Subtitles'. The good performance successfully demonstrates that the proposed framework of LMN is effective and the hierarchically formed movie representations have good potential for the applications of movie question answering.

연구 동기 및 목표

• 복잡한 내러티브와 시각적 모호성으로 인해 시각적 콘텐츠만으로 영화 스토리를 이해하는 데 도전적인 문제를 해결하기 위해.
• 시각적 특징과 자막의 텍스트 신호를 통합하여 의미적 이해를 향상시켜 영화 질의 응답 성능을 향상시키기 위해.
• 프레임 수준의 시각-언어 대응과 클립 수준의 시간-문장 관계를 모두 모델링할 수 있는 계층적 메모리 프레임워크를 개발하기 위해.
• 다양한 변형 아키텍처를 통해 LMN 모델의 효과성과 확장성을 입증하기 위해.

제안 방법

• 모델은 영화 자막의 단어 수준 의미 정보를 인코딩하여 프레임 수준의 시각적 표현을 생성하기 위해 정적 단어 메모리 모듈을 사용한다.
• 동적 자막 메모리 모듈은 영화 클립 전반에 걸쳐 문장과 시각 콘텐츠 간의 시간적 정렬을 학습하기 위해 활용된다.
• 프레임 수준의 특징은 정적 단어 메모리를 거친 후, 그 출력이 동적 자막 메모리에 입력되어 클립 수준의 표현을 생성한다.
• 세 가지 확장된 프레임워크가 도입되었다: (1) 동적 자막 메모리의 업데이트 메커니즘을 통해 관련 없는 정보를 걸러내는 기능, (2) 관련 메모리 콘텐츠에 집중하기 위한 질문 유도 주의 메커니즘, (3) 두 기능을 결합하여 추론 성능을 향상시키는 방식.
• 시각 입력으로 GoogLeNet과 VGG-16 특징을 사용하며, 단어 임베딩은 MovieQA 데이터셋에서 학습된다.
• 계층적 아키텍처는 프레임 내에서의 시각-언어 대응과 클립 간의 시간적 일관성을 함께 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 시각적 콘텐츠만으로도 영화 질의 응답에서 강력한 성능을 달성할 수 있는가, 아니면 복잡한 내러티브 이해를 위해 텍스트적 맥락이 필수적인가?
• RQ2 시각적 및 텍스트적 모odal 간의 효과적인 융합은 어떻게 이루어질 수 있으며, 영화에서 내-프레임 및 간-프레임 관계를 어떻게 모델링할 수 있는가?
• RQ3 평탄한 메모리나 주의 메커니즘 전용 모델에 비해 계층적 메모리 기법은 영상 질의 응답에서 추론 능력을 얼마나 향상시킬 수 있는가?
• RQ4 동적 메모리 업데이트 메커니즘과 질문 유도 주의 기법은 노이즈를 걸러내고 정답 정확도를 향상시키는 데 모델의 능력을 강화하는가?

주요 결과

• 프레임 수준 표현만을 사용한 LMN는 '비디오+자막' 과제에서 34.34%의 성능을 기록하여 시각 콘텐츠만으로도 강력한 베이스라인 성능을 입증하였다.
• 동적 자막 메모리 모듈을 통한 자막 통합이 성능 향상에 크게 기여하였으며, 최고 성능을 기록한 변형은 MovieQA 온라인 평가 서버에서 39.03%의 정확도를 달성하였다.
• 업데이트 메커니즘과 질문 유도 주의 기법을 결합한 모델은 업데이트 기반 모델 대비 0.9% 향상된 성능을 보였으며, 향상된 추론 능력과 관련성 필터링 능력을 확인하였다.
• 2017년 9월 10일 기준 MovieQA 온라인 랭킹에서 '비디오+자막' 과제에서 1위를 기록하였으며, 이는 이전의 DEMN(29.97%) 및 RWMN(36.25%) 등의 방법을 모두 앞서는 성과였다.
• 정적 단어 메모리 모듈은 다양한 힙 수(count)에서도 안정적인 성능을 보였으며, 이는 큰 어휘 크기(26,630)와 고정 차원(300)에도 불구하고 강건함을 시사한다.
• 모델의 예시들은 명시적인 단어-프레임 연결 없이도 언어 요소(예: 'Sherry', '빨간 잉크')와 관련된 시각 콘텐츠 간 정확한 대응을 보였다.