[논문 리뷰] Temporal Pyramid Transformer with Multimodal Interaction for Video Question Answering

Min Peng, Chongyang Wang외 3명|arXiv (Cornell University)|2021. 09. 10.

Multimodal Machine Learning Applications참고 문헌 40인용 수 5

한 줄 요약

이 논문은 다중 척도 시간적 특징과 다중 모odal 상호작용을 활용하여 질문 이해와 시각적 추론을 향상시키기 위해 영상 질의 응답(VideoQA)을 위한 시간 피라미드 트랜스포머(TPT) 모델을 제안한다. 질문에 특화된 트랜스포머(QT)와 다중 모달 어텐션 및 잔차 연결을 갖춘 국소적에서 전역적 시각 추론(VI) 모듈을 통해, TGIF-QA, MSRVTT-QA, MSVD-QA 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Video question answering (VideoQA) is challenging given its multimodal combination of visual understanding and natural language understanding. While existing approaches seldom leverage the appearance-motion information in the video at multiple temporal scales, the interaction between the question and the visual information for textual semantics extraction is frequently ignored. Targeting these issues, this paper proposes a novel Temporal Pyramid Transformer (TPT) model with multimodal interaction for VideoQA. The TPT model comprises two modules, namely Question-specific Transformer (QT) and Visual Inference (VI). Given the temporal pyramid constructed from a video, QT builds the question semantics from the coarse-to-fine multimodal co-occurrence between each word and the visual content. Under the guidance of such question-specific semantics, VI infers the visual clues from the local-to-global multi-level interactions between the question and the video. Within each module, we introduce a multimodal attention mechanism to aid the extraction of question-video interactions, with residual connections adopted for the information passing across different levels. Through extensive experiments on three VideoQA datasets, we demonstrate better performances of the proposed method in comparison with the state-of-the-arts.

연구 동기 및 목표

• 기존 영상QA 기법들이 일반적으로 단일 또는 제한된 시간 척도에 집중함에 따라, 다중 척도 시간 모델링의 부족을 해결한다.
• 다양한 시간 해상도에서 질문-영상 의미 공존을 캡처하여 질문 이해를 향상시킨다.
• 질문에 특화된 의미에 의해 이끌리는 국소적에서 전역적 시각 추론을 통해 시각적 추론 능력을 향상시킨다.
• 다중 수준 간에 다중 모달 어텐션과 잔차 연결을 통합하여 특징 전달 및 표현 학습을 향상시킨다.
• 다양한 영상QA 작업을 위한 다양한 시각적 단서를 캡처하는 데 있어 시간 피라미드 구조의 효과를 입증한다.

제안 방법

• 영상 프레임에서 시간 피라미드를 구성하고, 다양한 수준에서 외관-운동 특징을 추출하여 전반적이고 세밀한 역학을 캡처한다.
• 질문에 특화된 트랜스포머(QT) 모듈을 사용하여 피라미드 수준 전반에서 각 질문 단어와 시각적 특징 간의 굵은-세밀한 다중 모달 공존을 구축한다.
• QT의 각 수준 내에서 다중 모달 어텐션 메커니즘을 적용하여 질문 토큰을 관련 시각적 특징과 정렬하고 질문 관련 의미를 추출한다.
• QT 내에서 피라미드 수준 간 잔차 연결을 구현하여 더러운 수준에서 더 세밀한 수준으로 정보를 유지하고 전파한다.
• QT에서 유도된 질문 의미를 기반으로 같은 피라미드 수준을 통해 국소적에서 전역적 시각 추론을 이끄는 시각 추론(VI) 모듈을 구현한다.
• VI 내에서 다중 모달 어텐션을 통합하여 다양한 시간 척도에서 관련 시각적 단서에 다이나믹하게 주목하고, 수준 간 잔차 연결을 통해 특징 정제를 수행한다.

실험 결과

연구 질문

• RQ1 다중 시간 척도에서 영상 외관-운동 특징을 모델링하는 것이 영상 질의 응답에 어떻게 기여하는가?
• RQ2 다중 수준의 시각적 특징에서 질문에 특화된 의미 모델링이 복잡한 영상 질문 이해에 얼마나 기여하는가?
• RQ3 피라미드 수준 수가 액션 인식, 수량 세기, 시간적 추론과 같은 다양한 영상QA 작업의 성능에 미치는 영향은 어떠한가?
• RQ4 다중 수준 간 다중 모달 어텐션과 잔차 연결의 통합이 특징 표현 및 추론 정확도에 미치는 영향은 무엇인가?
• RQ5 계층적 특징 상호작용을 갖는 이중 단계 아키텍처(QT + VI)가 영상QA에서 엔드 투 엔드 모델을 능가할 수 있는가?

주요 결과

• 제안된 TPT 모델은 TGIF-QA, MSRVTT-QA, MSVD-QA 세 가지 벤치마크 영상QA 데이터셋에서 최신 기술 수준 성능을 달성한다.
• TGIF-QA 데이터셋에서 Action 작업에서는 76.6%의 정확도, Trans.에서는 81.6%, FrameQA에서는 57.8%, Count 작업에서는 3.63을 기록하여 이전 최신 기술 수준 방법을 능가한다.
• QT 모듈을 제거하면 모든 작업에서 성능 저하가 발생하며, Action 정확도는 0.4% 감소하고 Count 오류는 0.3% 증가하여, 질문 이해에서의 핵심적 역할을 확인한다.
• 피라미드 수준 수는 성능에 상당한 영향을 미친다: N=3 또는 N=4 수준을 사용할 경우 최적의 성능을 기록하며, N=3이 정보의 풍부함과 노이즈 감소 사이의 최적 균형을 이룬다.
• 모델는 다양한 작업에서 뛰어난 강건성을 보이며, 특히 다중 척도 시각적 단서가 필수적인 Count 및 Trans. 작업에서 가장 두드러진 향상을 보였다.
• 제거 실험 결과, 다중 모달 어텐션과 수준 간 잔차 연결이 효과적인 특징 전달 및 성능 향상에 필수적임을 확인하였다.