[논문 리뷰] Multimodal Dual Attention Memory for Video Story Question Answering

Kyung-Min Kim, Seong-Ho Choi외 2명|arXiv (Cornell University)|2018. 09. 21.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 다중모달 이중 주의 메모리(MDAM)를 제안한다. MDAM은 비디오 프레임과 캡션에 대한 자기주의 주의(self-attention)와 질문 유도 주의(question-guided attention)를 조합한 이중 주의 메커니즘을 사용하며, 후기 다중모달 융합(late multimodal fusion)을 통해 고수준의 공동 표현을 학습한다. MDAM은 MovieQA(41.41%)와 PororoQA(48.9%)에서 최고 성능을 기록하여, 복잡한 비디오 이해 작업에 이중 주의와 후기 융합의 효과성을 입증한다.

ABSTRACT

We propose a video story question-answering (QA) architecture, Multimodal Dual Attention Memory (MDAM). The key idea is to use a dual attention mechanism with late fusion. MDAM uses self-attention to learn the latent concepts in scene frames and captions. Given a question, MDAM uses the second attention over these latent concepts. Multimodal fusion is performed after the dual attention processes (late fusion). Using this processing pipeline, MDAM learns to infer a high-level vision-language joint representation from an abstraction of the full video content. We evaluate MDAM on PororoQA and MovieQA datasets which have large-scale QA annotations on cartoon videos and movies, respectively. For both datasets, MDAM achieves new state-of-the-art results with significant margins compared to the runner-up models. We confirm the best performance of the dual attention mechanism combined with late fusion by ablation studies. We also perform qualitative analysis by visualizing the inference mechanisms of MDAM.

연구 동기 및 목표

• 시간적으로 정렬된 다중모달 콘텐츠(프레임, 캡션, 질문)를 고수준의 추상화로 추론할 수 있어야 하는 비디오 스토리 QA 과제를 해결하기 위해.
• 원시 비디오 및 캡션 특징을 직접 융합하는 기존 모델의 한계를 극복하여 과적합과 일반화 능력 저하 문제를 해결하기 위해.
• 다중모달 융합 이전에 잠재 표현을 학습하면 추론 성능 향상에 기여하는지 조사하기 위해.
• 융합을 고수준 추상화 이후에만 적용하는 후기 융합이, 융합을 너무 이르게 수행하는 초기 융합보다 더 나은 성능을 내는지 검증하기 위해.

제안 방법

• 비디오 프레임과 캡션을 공통 표현 공간에 매핑하기 위해 ResNet, GloVe, 위치 인코딩, 문장의 문맥 기호(casing) 특징을 사용한다.
• 전체 프레임 및 캡션 시퀀스에 다중헤드 자기주의 주의를 적용하여 고수준 추상화를 포착하는 잠재 변수를 학습한다.
• 각 질문에 대해, 프레임과 캡션에서 관련된 잠재 개념을 선택적으로 주의하는 두 번째 주의 메커니즘을 적용한다.
• 이중 주의 이후에 한 번만 다중모달 융합을 수행하며, 질문, 캡션, 프레임 표현을 잔차 학습(residual learning)을 통해 결합한다.
• 전체적으로 종단 간(end-to-end)으로 학습되는 감독 학습 파이프라인을 사용하며, 전처리, 자기주의 주의, 질문 유도 주의, 다중모달 융합, 답변 선택의 다섯 개의 하위 모듈로 구성된다.
• 과적합을 줄이고 수렴성을 향상시키기 위해 후기 융합을 적용하며, 시간과 모odal 간에 너무 이르게 융합하는 초기 융합 방법과 대비된다.

실험 결과

연구 질문

• RQ1 비디오 콘텐츠에 대한 자기주의 주의 이후 질문 유도 주의를 적용하는 이중 주의 방식이 직접 융합보다 비디오 스토리 추론 성능을 향상시키는가?
• RQ2 추상화 이후에 융합하는 후기 다중모달 융합이 추상화 이전에 융합하는 초기 융합보다 비디오 스토리 QA에서 더 효과적인가?
• RQ3 프레임과 캡션에 대한 자기주의 주의가 후속 QA 작업을 위한 더 강력한 고수준 표현을 학습하는 데 기여하는가?
• RQ4 모델의 주의 메커니즘이 복잡한 비디오 내러티브에서 인간과 유사한 추론 방식과 얼마나 잘 일치하는가?
• RQ5 자기주의 주의 모듈 또는 초기 융합의 제거가 전체 성능에 어떤 영향을 미치는가?

주요 결과

• MDAM은 테스트 정확도 41.41%로 MovieQA에서 최고 성능을 기록하여, 2위 모델(Layered Memory Networks)을 2.38%p 뛰어넘었다.
• PororoQA에서는 48.9%의 정확도를 기록하여 기준 모델들을 크게 앞서며 새로운 최고 성능을 수립했다.
• 제거 실험(ablation study) 결과, 자기주의 주의 모듈을 제거하면 성능이 47.3%로 떨어지며, 이는 고수준 추상화를 학습하는 데서 자기주의 주의의 중요성을 입증한다.
• 초기 융합을 적용한 모델(MDAM-EarlyFusion)은 PororoQA에서 오직 46.1%의 성능을 기록하여, 후기 융합이 초기 융합보다 더 효과적임을 보여준다.
• 정성적 분석 결과, MDAM은 질문에 따라 관련 프레임과 캡션을 정확히 주의하는 반면, 자기주의 주의를 제거한 모델은 종종 핵심 정보를 정확히 지역화하지 못하는 경향을 보였다.
• 초기 융합 기반 모델 대비 수렴 속도가 빠르고 손실 변동성이 적어, 후기 융합 덕분에 훈련 안정성이 향상됨을 시사한다.