[논문 리뷰] MarioQA: Answering Questions by Watching Gameplay Videos

Jonghwan Mun, Paul Hongsuck Seo외 2명|arXiv (Cornell University)|2016. 12. 06.

Multimodal Machine Learning Applications참고 문헌 28인용 수 7

한 줄 요약

이 논문은 슈퍼 마리오 브라더스 플레이어 비디오와 질문 템plate를 기반으로 생성한 합성 비디오 질의응답(VQA) 데이터셋인 MarioQA를 소개한다. 이는 영상 질의응답에서 시간적 추론 능력을 평가하기 위한 것이다. 이 프레임워크는 다양한 추론 복잡도에서 모델 성능을 통제 가능하게 분석할 수 있도록 하여, 다양하고 복잡도가 제어된 데이터셋이 적절히 구성될 경우 모델 정확도가 크게 향상됨을 보여주며, 특히 복잡한 시간적 추론 예제를 포함해 훈련할 경우 성능 향상이 두드러진다.

ABSTRACT

We present a framework to analyze various aspects of models for video question answering (VideoQA) using customizable synthetic datasets, which are constructed automatically from gameplay videos. Our work is motivated by the fact that existing models are often tested only on datasets that require excessively high-level reasoning or mostly contain instances accessible through single frame inferences. Hence, it is difficult to measure capacity and flexibility of trained models, and existing techniques often rely on ad-hoc implementations of deep neural networks without clear insight into datasets and models. We are particularly interested in understanding temporal relationships between video events to solve VideoQA problems; this is because reasoning temporal dependency is one of the most distinct components in videos from images. To address this objective, we automatically generate a customized synthetic VideoQA dataset using {\em Super Mario Bros.} gameplay videos so that it contains events with different levels of reasoning complexity. Using the dataset, we show that properly constructed datasets with events in various complexity levels are critical to learn effective models and improve overall performance.

연구 동기 및 목표

• 시간적 추론 능력을 고립하고 측정할 수 있는 표준화되고 분석 가능한 비디오 질의응답(VQA) 데이터셋의 부족을 해결하기 위해.
• 다양한 추론 복잡도 수준을 제어할 수 있는 맞춤형 합성 프레임워크를 개발하기 위해.
• 특히 시간적 추론의 포함 여부가 비디오 질의응답(VQA) 모델 성능에 미치는 영향을 평가하기 위해.
• 정적 프레임 추론을 넘어서는 신뢰할 수 있고 모호하지 않은 벤치마크를 제공하기 위해.

제안 방법

• 슈퍼 마리오 브라더스의 플레이어 비디오와 관련 이벤트 로그를 사용해 합성 비디오 질의응답(VQA) 데이터셋을 자동으로 생성한다.
• 이벤트 수준의 애너테이션에서 언어적으로 다양하고 의미적으로 기반을 두고 있는 질문을 생성하기 위해 재사용 가능한 질문 템plate 세트를 정의한다.
• 시간적 추론 복잡도가 증가하는 세 가지 별도의 서브셋(NT, ET, HT)을 구성한다: 비시간적, 이벤트 기반, 고수준 인과적 추론.
• 이 데이터셋을 사용해 주의 기반 모델과 글로벌 컨텍스트(GC) 모델을 포함한 여러 신경망 아키텍처를 훈련하고 평가한다.
• 데이터셋 크기와 구성의 제어를 통해 훈련 데이터의 복잡도가 모델 일반화 및 성능에 미치는 영향을 분리하여 분석한다.
• 서브셋의 다양한 조합으로 모델을 훈련하여 성능 향상 여부를 측정함으로써 아블레이션 연구를 수행한다.

실험 결과

연구 질문

• RQ1 훈련 데이터에 시간적 복잡도가 높은 추론 예제가 포함될 경우 비디오 질의응답(VQA) 모델의 성능에 어떤 영향을 미치는가?
• RQ2 비시간적 질문에만 훈련된 모델이 더 복잡한 시간적 의존성 질문으로 일반화되는 정도는 어느 정도인가?
• RQ3 중간 수준의 시간적 추론(ET) 데이터로 훈련한 모델이 고수준 추론(HT) 과제에서 성능 향상을 달성할 수 있는가?
• RQ4 복잡한 추론 데이터를 추가함으로써 발생하는 성능 향상은 데이터 양 증가 때문인가, 아니면 예제 자체의 내재적 복잡도 때문인가?
• RQ5 다양한 추론 복잡도 수준의 훈련 데이터에 대해 주의 기반 모델과 글로벌 컨텍스트 모델 등 다양한 신경망 아키텍처는 어떻게 반응하는가?

주요 결과

• 고복잡도 HT 서브셋으로 훈련한 모델은 비시간적 NT 서브셋을 포함한 모든 서브셋에서 정확도가 향상되어, 복잡한 추론 데이터가 일반화 능력을 향상시킨다는 것을 시사한다.
• ET 서브셋의 추가로 모든 모델에서 가장 두드러진 성능 향상이 관찰되었으며, 특히 ET 및 HT 서브셋에서 두드러져 시간적 관계 학습에 있어 그 가치가 높음을 입증한다.
• 더 적은 훈련 예제가 있었음에도 불구하고, ET 및 HT 서브셋으로 훈련한 모델은 NT 서브셋에서도 일관된 성능 향상을 보였으며, 이는 데이터 품질(복잡도)이 단순한 양보다 더 중요하다는 것을 증명한다.
• 글로벌 컨텍스트(GC) 모델은 후기 훈련 단계에서 주의 기반 모델을 능가하는 성능을 보였으며, 이는 잘 구성된 복잡한 데이터셋으로 훈련된 경우 간단한 아키텍처가 더 효과적일 수 있음을 시사한다.
• ET 및 HT 데이터를 훈련 데이터에 추가함으로써 발생하는 성능 향상은 모든 모델에서 일관되게 관찰되었으며, 이는 이점이 데이터 크기 때문이 아니라 예제의 성격 때문임을 시사한다.
• 모든 세 서브셋(NT+ET+HT)으로 훈련한 모델은 통합 테스트 세트에서 전체 정확도 58.35%를 기록하여, 종합적인 데이터셋 구성이 높은 성능을 내기 위해 필수적임을 확인한다.