[논문 리뷰] MultiModalQA: Complex Question Answering over Text, Tables and Images

Alon Talmor, Ori Yoran외 7명|arXiv (Cornell University)|2021. 04. 13.

Multimodal Machine Learning Applications참고 문헌 21인용 수 12

한 줄 요약

이 논문은 텍스트, 표, 이미지를 포함한 복합적인 추론이 필요한 29,918개의 복잡한 질문을 포함한 대규모 데이터셋인 MultiModalQA(MMQA)를 소개한다. 이 중 35.7%의 질문이 교차 모odal 추론을 요구한다. 저자들은 다중모달 질문을 암묵적으로 분해하는 ImplicitDecomp 모델을 제안하였으며, 이는 단일 힙 기반 모델(38.2 F1)을 크게 능가하는 51.7 F1 성능을 기록하였다. 그러나 여전히 인간 성능(90.1 F1)에는 못 미친다.

ABSTRACT

When answering complex questions, people can seamlessly combine information from visual, textual and tabular sources. While interest in models that reason over multiple pieces of evidence has surged in recent years, there has been relatively little work on question answering models that reason across multiple modalities. In this paper, we present MultiModalQA(MMQA): a challenging question answering dataset that requires joint reasoning over text, tables and images. We create MMQA using a new framework for generating complex multi-modal questions at scale, harvesting tables from Wikipedia, and attaching images and text paragraphs using entities that appear in each table. We then define a formal language that allows us to take questions that can be answered from a single modality, and combine them to generate cross-modal questions. Last, crowdsourcing workers take these automatically-generated questions and rephrase them into more fluent language. We create 29,918 questions through this procedure, and empirically demonstrate the necessity of a multi-modal multi-hop approach to solve our task: our multi-hop model, ImplicitDecomp, achieves an average F1of 51.7 over cross-modal questions, substantially outperforming a strong baseline that achieves 38.2 F1, but still lags significantly behind human performance, which is at 90.1 F1

연구 동기 및 목표

• 텍스트, 표, 이미지를 포함한 추론이 필요한 대규모 복잡한 질문 응답 데이터셋을 구축하는 것.
• 특히 시각적 증거를 포함한 진정한 교차 모달 추론을 요구하지 않는 기존 데이터셋의 격차를 보완하는 것.
• 스케일링 가능한 프레임워크를 개발하여 다양한 다중호프, 다중모달 질문을 대규모로 생성하는 것.
• 다중모달, 다중호프 추론 모델의 효과성을 평가하고 강력한 기반 모델 및 인간 성능과 비교하는 것.
• MMQA 데이터셋을 활용하여 위키백과를 대상으로 한 오픈도메인 질문 응답을 가능하게 하는 것.

제안 방법

• 공통된 실체를 통해 위키백과에서 추출한 표를 이미지 및 텍스트 문단과 연결하여 통합된 다중모달 컨텍스트를 구성하는 방식.
• 논리 연산(조합, 비교, 교차)을 사용하여 단순한 단일모달 질문으로부터 복합 질문을 구성하는 형식적 언어를 정의하는 방식.
• 자동 생성된 자연어 수준이 낮은 가짜 언어 질문을 인간이 자연스럽게 다듬은 영어 문장으로 재작성하기 위해 군중 활용을 수행하는 방식.
• 명시적인 질문 분해 없이 다중모달 질문을 암묵적으로 추론 단계로 분해하는 ImplicitDecomp 모델을 제안하는 방식.
• 텍스트(RoBERTa), 표(신경 모듈 네트워크), 이미지(VQA 방식 모델) 전용 모델을 통합 프로그래밍 프레임워크 내에서 추론을 수행하는 방식.
• 모델을 엔드 투 엔드로 훈련하여 다중모달 간 추론을 조율하고 실행하여 최종 답변을 생성하는 프로그램을 예측하는 방식.

실험 결과

연구 질문

• RQ1 스케일링 가능한 프레임워크가 텍스트, 표, 이미지를 포함한 복합적인 추론이 필요한 다중호프, 다중모달 질문을 생성할 수 있는가?
• RQ2 기존 모델이 인간 성능에 비해 교차 모달 추론 과제에서 어느 정도 실패하는가?
• RQ3 명시적인 질문 구문 분석 없이 다중모달 질문의 암묵적 분해가 추론 성능 향상에 기여할 수 있는가?
• RQ4 단일호프 또는 모달 특화 기반 모델 대비 통합된 다중모달 추론 모델은 얼마나 효과적인가?
• RQ5 최첨단 모델과 인간 간의 복잡한 다중모달 질문 응답에서 성능 격차는 어느 정도인가?

주요 결과

• MMQA는 29,918개의 질문을 포함하고 있으며, 이 중 35.7%는 교차 모달 추론을 요구하여, 텍스트, 표, 이미지를 동시에 고려한 공동 추론을 요구하는 최초의 대규모 데이터셋이다.
• ImplicitDecomp 모델은 교차 모달 질문에서 51.7 F1 성능을 기록하였으며, 강력한 단일호프 기반 모델(38.2 F1) 대비 13.5 점의 절대 F1 향상을 기록하였다.
• 인간 성능은 90.1 F1에 도달하여 현재 모델이 여전히 큰 격차를 보이고 있음을 시사한다.
• 정성적 분석 결과, 샘플링된 질문 중 92%가 진정한 다중호프 추론을 요구함을 확인하여 데이터셋의 복잡성을 검증하였다.
• 위키백과 기반 오픈도메인 설정에서 인간의 F1 점수는 84.8로 하락하였으며, 이는 전체 액세스가 가능하더라도 여전히 도전 과제가 높다는 것을 보여준다.
• 모델의 1단계 힙 F1 점수는 조합, 비교, 교차 연산에서 33.5에서 61.1 사이로 변동하며, 최종 F1 점수는 최대 61.1에 도달하여 효과적인 추론 단계 연결 능력을 입증하였다.