[논문 리뷰] Motion-Appearance Co-Memory Networks for Video Question Answering

Jiyang Gao, Runzhou Ge외 2명|arXiv (Cornell University)|2018. 03. 29.

Multimodal Machine Learning Applications참고 문헌 39인용 수 23

한 줄 요약

이 논문은 동작과 외관 특징을 공동으로 모델링하기 위한 운동-외관 공기억 네트워크를 제안한다. 이는 공기억 어텐션 메커니즘, 시간적 합성곱-역합성곱 네트워크를 통한 다중 수준의 맥락적 사실 생성, 그리고 질문 유형에 맞는 동적 사실 통합 방법을 통해 운동과 외관 특징을 동시에 모델링한다. 모델은 TGIF-QA 데이터셋에서 최신 기술 수준(SoA) 성능을 달성하였으며, 모든 네 가지 과제에서 이전 방법을 능가했으며, 행동 인식 과제에서 68.2%의 정확도와 세는 과제에서 4.10의 MSE를 기록하였다.

ABSTRACT

Video Question Answering (QA) is an important task in understanding video temporal structure. We observe that there are three unique attributes of video QA compared with image QA: (1) it deals with long sequences of images containing richer information not only in quantity but also in variety; (2) motion and appearance information are usually correlated with each other and able to provide useful attention cues to the other; (3) different questions require different number of frames to infer the answer. Based these observations, we propose a motion-appearance comemory network for video QA. Our networks are built on concepts from Dynamic Memory Network (DMN) and introduces new mechanisms for video QA. Specifically, there are three salient aspects: (1) a co-memory attention mechanism that utilizes cues from both motion and appearance to generate attention; (2) a temporal conv-deconv network to generate multi-level contextual facts; (3) a dynamic fact ensemble method to construct temporal representation dynamically for different questions. We evaluate our method on TGIF-QA dataset, and the results outperform state-of-the-art significantly on all four tasks of TGIF-QA.

연구 동기 및 목표

• 정적 이미지 이상의 풍부한 시공간 정보를 포함한 장시간 비디오 시퀀스를 모델링할 필요가 있는 비디오 질의응답 문제에 도전한다.
• 비디오 질의응답에서 운동과 외관 특징 간의 상관관계를 활용하여, 각 모odal이 다른 모달의 어텐션 힌트를 제공하도록 한다.
• 질문 유형(예: 단일 프레임 대비 장시간 시퀀스 질문)에 따라 관련 프레임 수를 동적으로 조정하여 비디오 프레임에 대한 동적 추론을 가능하게 한다.
• 다중 수준의 맥락적 사실 통합 및 동적 메모리 업데이트를 통해 비디오 시퀀스에 대한 추론을 향상시킨다.

제안 방법

• 운동 신호를 사용해 외관 특징에 대한 어텐션을 생성하고, 외관 신호를 사용해 운동 특징에 대한 어텐션을 생성하는 공기억 어텐션 메커니즘을 제안하여 양 모달의 공동 모델링을 가능하게 한다.
• 시간적 합성곱 및 역합성곱 네트워크를 활용해 운동 및 외관 특징에서 다중 수준의 맥락적 사실을 생성하며, 시간 해상도를 유지하면서 다양한 맥락을 포착한다.
• 질문의 특성에 맞게 여러 메모리 업데이트 사이클 동안 맥락적 사실을 적응적으로 조합하는 동적 사실 통합 방법을 도입한다.
• 이중 스트림 특징(운동을 위한 Flow CNN, 외관을 위한 ResNet-152)을 통합하고, 모odal별 메모리 상태를 추가함으로써 동적 메모리 네트워크(DMN) 프레임워크를 비디오 질의응답에 맞게 변형한다.
• 복잡한 시간적 추론 과제에서 성능을 향상시키기 위해 반복적인 어텐션 및 메모리 업데이트를 통해 추론를 정교화하는 다주기 메모리 업데이트 프로세스(T=2 또는 T=3)를 적용한다.
• 전체 모델에서 세 단계의 맥락적 사실을 소프트 융합하여 표현 학습 및 추론 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 비디오 질의응답에서 운동과 외관 특징을 공동으로 모델링하여 어텐션 선택을 향상시킬 수 있는가?
• RQ2 효율적인 비디오 질의응답 추론을 위해 최적의 메모리 업데이트 사이클 수는 얼마인가?
• RQ3 합성곱-역합성곱 네트워크를 통해 생성된 다중 수준의 맥락적 사실은 장시간 비디오 시퀀스에 대한 추론을 향상시킬 수 있는가?
• RQ4 동적 사실 통합 방법은 다양한 질문 유형(다른 시간적 맥락 길이가 필요한 질문)에서 성능을 향상시키는 데 어떻게 기여하는가?

주요 결과

• 행동 인식 과제에서 68.2%의 정확도를 기록하여 이전 SoA의 62.9%를 크게 뛰어넘었다.
• 상태 전이 과제에서 74.3%의 정확도를 달성하여 SoA의 69.4%를 초월했다.
• 프레임 기반 QA 과제에서 51.5%의 정확도를 기록하여 SoA의 49.5%를 뛰어넘었다.
• 반복 횟수 세기 과제에서 평균 제곱 오차(MSE) 4.10을 기록하여 SoA의 4.32를 능가했다.
• 제거 분석 결과, 두 번의 메모리 업데이트 사이클(T=2)이 가장 뛰어난 성능을 내며, T=3에서는 수익 감소 현상이 나타났다.
• 동적 사실 통합 방법은 성능 향상에 크게 기여하며, 공기억 모델에 추가했을 때 행동 인식 정확도가 66.8%에서 68.2%로 향상됨을 확인했다.