[논문 리뷰] Progressive Attention Memory Network for Movie Story Question Answering

Junyeong Kim, Minuk Ma외 3명|arXiv (Cornell University)|2019. 04. 18.

Multimodal Machine Learning Applications참고 문헌 33인용 수 13

한 줄 요약

이 논문은 프로그레시브 어텐션 메모리 네트워크(PAMN)를 제안한다. PAMN는 점진적 어텐션, 동적 모달리티 융합, 믿음 보정을 통해 장시간 시퀀스의 시간적 국소화 및 모달리티 융합 과제를 해결하는 새로운 아키텍처이다. PAMN는 질문 맥락에 기반해 모달리티를 적응적으로 가중함으로써 비디오와 자막 메모리에 대해 반복적으로 어텐션을 정교화함으로써 MovieQA 및 TVQA 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

This paper proposes the progressive attention memory network (PAMN) for movie story question answering (QA). Movie story QA is challenging compared to VQA in two aspects: (1) pinpointing the temporal parts relevant to answer the question is difficult as the movies are typically longer than an hour, (2) it has both video and subtitle where different questions require different modality to infer the answer. To overcome these challenges, PAMN involves three main features: (1) progressive attention mechanism that utilizes cues from both question and answer to progressively prune out irrelevant temporal parts in memory, (2) dynamic modality fusion that adaptively determines the contribution of each modality for answering the current question, and (3) belief correction answering scheme that successively corrects the prediction score on each candidate answer. Experiments on publicly available benchmark datasets, MovieQA and TVQA, demonstrate that each feature contributes to our movie story QA architecture, PAMN, and improves performance to achieve the state-of-the-art result. Qualitative analysis by visualizing the inference mechanism of PAMN is also provided.

연구 동기 및 목표

• 장시간 영화 영상(종종 1시간 이상)에서 질문에 해당하는 관련 시간적 세그먼트를 정확히 국소화하는 과제를 해결하기 위해.
• 질문의 특성에 따라 다른 모달리티(비디오 또는 자막)가 더 큰 기여를 하도록, 질문 기반의 적응형 비디오 및 자막 모달리티 융합을 가능하게 하기 위해.
• 사람의 반복적 추론 방식을 모방하여, 믿음 보정을 통해 점진적으로 예측을 정교화함으로써 질문에 대한 답변 예측을 반복적으로 개선하기 위해.
• 프로그레시브 어텐션, 동적 모달리티 융합, 반복적 믿음 정교화를 통합하여 영화 스토리 QA 벤치마크 성능을 향상시키기 위해.

제안 방법

• 프로그레시브 어텐션 메커니즘은 질문 및 답변 표현을 모두 사용하여 메모리 내에서 관련성이 없는 시간적 부분을 반복적으로 제거함으로써, 다중 스텝에 걸쳐 어텐션을 정교화한다.
• 동적 모달리티 융합은 소프트 어텐션을 활용하여 현재 질문에 기반해 비디오 및 자막 특징을 적응적으로 가중함으로써, 고정된 융합 규칙 없이 모달리티 기반 기여를 가능하게 한다.
• 믿음 보정 답변 방식은 예측 점수를 균일하게 초기화하고 질문 및 답변 신호를 사용해 반복적으로 이를 보정함으로써 인간의 반복적 추론 방식을 모방한다.
• 모델는 질문 및 답변 표현에 조건화된 다중 어텐션 스텝을 통해 업데이트되는 시간적 어텐션을 갖는 메모리 네트워크를 사용한다.
• 학습 가능한 스트라이드와 커널 크기를 갖는 평균 풀링 레이어를 사용해 메모리 특징을 다운샘플링함으로써 해상도와 계산 비용의 균형을 맞춘다.
• 믿음 모듈의 보정 가중치는 질문 및 답변 표현이 믿음 업데이트에 미치는 영향을 조정하기 위해 학습되며, 단계 간 정규화가 적용된다.

실험 결과

연구 질문

• RQ1 정보 분포가 비균일한 장시간 영화 영상에서 질문에 해당하는 관련 시간적 세그먼트를 효과적으로 국소화할 수 있는 방법은 무엇인가?
• RQ2 질문 유형에 따라 적응적으로 모달리티 융합을 수행할 수 있는 정도는 어느 정도이며, 질문의 필요에 따라 비디오 또는 자막 모달리티가 더 큰 기여를 할 수 있도록 할 수 있는가?
• RQ3 단일 스텝 답변 생성과 비교해, 예측의 반복적 정교화(믿음 보정)가 QA 성능 향상에 기여할 수 있는가?
• RQ4 질문과 답변를 모두 사용해 메모리 액세스를 안내하는 프로그레시브 어텐션은 단일 스텝 또는 스택드 어텐션 메커니즘과 비교해 장시간 영상 QA에서 어떻게 성능을 내는가?

주요 결과

• PAMN는 MovieQA 벤치마크에서 기존 방법들인 MemN2N 및 RWMN를 능가하는 최신 기술 성능(SOTA)을 달성한다.
• 특히 '언제' 질문에서는 20% 향상, '어디서' 질문에서는 13% 향상되어 강력한 시간적 국소화 능력을 보여준다.
• 정성적 분석을 통해 프로그레시브 어텐션 맵이 질문 생성에 사용된 참값 시간 세그먼트와 매우 밀접하게 일치함을 확인했다.
• 동적 모달리티 융합은 질문 유형에 따라 비디오 또는 자막 모달리티를 적응적으로 선택하며, 감독 없이도 어텐션 가중치가 모달리티의 관련성과 잘 반영됨을 보였다.
• 믿음 보정 메커니즘은 다중 스텝에 걸쳐 예측을 성공적으로 정교화했으며, 정답은 종종 후속 보정 단계에서 선택됨을 확인했다.
• 하이퍼파라미터 분석 결과, 다중 어텐션 스텝(2회 반복)이 최적의 성능을 내며, 너무 많은 스텝은 작은 데이터셋에서 과적합을 유도함을 확인했다.