[논문 리뷰] Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering

Chenyou Fan, Xiaofan Zhang외 4명|arXiv (Cornell University)|2019. 04. 08.

Multimodal Machine Learning Applications참고 문헌 28인용 수 35

한 줄 요약

본 논문은 (i) appearance와 motion 특징을 융합하는 이기형 메모리, (ii) 복합 의미 이해를 위한 재설계된 question memory, 그리고 (iii) 시각적 및 텍스트 단서를 통한 다단계 추론을 가능하게 하는 다중 모달 융합 계층을 갖춘 엔드-투-엔드 VideoQA 프레임워크를 제시한다.

ABSTRACT

In this paper, we propose a novel end-to-end trainable Video Question Answering (VideoQA) framework with three major components: 1) a new heterogeneous memory which can effectively learn global context information from appearance and motion features; 2) a redesigned question memory which helps understand the complex semantics of question and highlights queried subjects; and 3) a new multimodal fusion layer which performs multi-step reasoning by attending to relevant visual and textual hints with self-updated attention. Our VideoQA model firstly generates the global context-aware visual and textual features respectively by interacting current inputs with memory contents. After that, it makes the attentional fusion of the multimodal visual and textual representations to infer the correct answer. Multiple cycles of reasoning can be made to iteratively refine attention weights of the multimodal data and improve the final representation of the QA pair. Experimental results demonstrate our approach achieves state-of-the-art performance on four VideoQA benchmark datasets.

연구 동기 및 목표

• VideoQA를 위해 appearance와 motion 특징을 함께 모델링해야 할 필요성을 이기형 메모리 아키텍처로 제시한다.
• 비디오와 질문 표현 모두에 대해 글로벌 맥락을 포착할 수 있는 메모리 보강 프레임워크를 설계한다.
• 시각적 단서와 텍스트 단서를 활용한 다중 모달 융합 모듈을 개발하여 다단계 추론을 가능하게 한다.
• 여러 VideoQA 벤치마크에서 최첨단 성능을 입증하고 철저한 어블레이션을 제공한다.

제안 방법

• appearance와 motion 콘텐츠를 공동으로 기록하여 공동 정렬된 시공간 주의(attention)를 학습하는 이기형 외부 메모리를 도입한다.
• 다른 motion/appearance 은닉 상태와 글로벌 메모리 상태를 가진 읽기/쓰기 메커니즘을 개발하여 맥락 인식 비디오 특징을 생성한다.
• 질문의 복잡하고 맥락 의존적인 의미를 포착하기 위해 재설계된 외부 질문 메모리를 도입한다.
• LSTM 컨트롤러를 갖춘 다중 모달 융합 계층을 도입하여 반복(iterations) 동안 비디오 및 질문 특징에 주의를 기울이고 융합 표현을 업데이트한다.
• 다단계 추론(L iterations)을 적용하여 주의 가중치와 최종 QA 표현을 정제한다.
• Adam 옵티마이저를 사용한 표준 VideoQA 손실 함수(다지선다형 및 개방형)로 엔드-투-엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 이기형 메모리가 시각적-공간적 주의(attention)를 학습하기 위해 appearance와 motion 특징을 어떻게 효과적으로 통합할 수 있는가?
• RQ2 재설계된 질문 메모리가 복잡한 질문 의미를 더 잘 포착하고 질의 대상(subject)을 강조할 수 있는가?
• RQ3 다중 모달 융합 계층과 반복적 추론이 시각적 콘텐츠와 질문 단서 간 정렬을 개선하여 정확한 답을 내는가?
• RQ4 다단계 추론 반복이 최종 VideoQA 성능에 미치는 영향은 무엇인가?
• RQ5 메모리 기반 아키텍처가 표준 VideoQA 벤치마크에서 초기/최종 융합 baselines를 능가하는가?

주요 결과

• 제안된 모델이 4개의 VideoQA 벤치마크 데이터셋에서 최첨단 성능을 달성한다.
• 시각 특징과 질문 의미를 융합하는 메모리 모듈은 베이스라인 대비 주의 집중과 추론을 향상시킨다.
• 공동 시각 메모리(appearance + motion)가 에피소드 메모리 및 단순 융합Variant를 지속적으로 능가한다.
• 다중 모달 융합 계층과 다단계 추론은 비디오 콘텐츠와 질문 간의 정렬을 개선해 TGIF-QA 및 기타 데이터셋에서 ST-VQA 및 Co-Mem baselines를 능가한다.
• 어블레이션 연구는 시각 메모리와 질문 메모리 모두가 성능 향상에 기여하며, 함께 사용할 때 추가 이득이 발생한다.