[논문 리뷰] ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning

Ahmed Masry, Do Xuan Long외 3명|arXiv (Cornell University)|2022. 03. 19.

Data Visualization and Analytics인용 수 13

한 줄 요약

이 논문은 실제 차트에서 시각적 및 논리적 추론을 위한 대규모 벤치마크인 ChartQA를 소개한다. 이 벤치마크는 인간이 작성한 9,608개의 질문과 기계가 생성한 23,111개의 질문을 포함하며, 실세계의 차트에 초점을 맞추고 있다. 또한 시각적 특징과 차트에서 자동으로 추출한 데이터 테이블을 통합하는 통합형 트랜스포머 기반 모델을 제안하여 최신 성능을 달성하면서도 복잡한 추론과 시각적 참조를 다루는 데서 여전히 남아 있는 과제를 드러내고 있다.

ABSTRACT

Charts are very popular for analyzing data. When exploring charts, people often ask a variety of complex reasoning questions that involve several logical and arithmetic operations. They also commonly refer to visual features of a chart in their questions. However, most existing datasets do not focus on such complex reasoning questions as their questions are template-based and answers come from a fixed-vocabulary. In this work, we present a large-scale benchmark covering 9.6K human-written questions as well as 23.1K questions generated from human-written chart summaries. To address the unique challenges in our benchmark involving visual and logical reasoning over charts, we present two transformer-based models that combine visual features and the data table of the chart in a unified way to answer questions. While our models achieve the state-of-the-art results on the previous datasets as well as on our benchmark, the evaluation also reveals several challenges in answering complex reasoning questions.

연구 동기 및 목표

• 기존의 ChartQA 데이터셋이 템플릿 기반 질문, 고정 어휘의 답변, 그리고 합성 차트에 의존하는 데서 비롯하는 한계를 해결하기 위해.
• 복잡한 추론과 차트 요소에 대한 시각적 참조를 포함한 인간이 작성한 질문을 포함하는 현실적인 벤치마크를 만들기 위해.
• 시각적 특징과 추출된 데이터 테이블을 통합하여 차트에 대한 향상된 추론을 위한 통합 모델을 개발하기 위해.
• 특히 중첩된 연산과 시각적 조합 질문을 다룰 때의 시각적 및 논리적 추론의 과제를 평가하기 위해.

제안 방법

• 20,882개의 실제 차트를 네 개의 공개 레포지토리에서 확보하여 시각적 및 주제적 다양성을 확보한 벤치마크를 구성하였다.
• 윤리적 보호 조치를 취한 커스터마이징을 통해 인간이 작성한 질문(9,608개)을 크라우드소싱으로 확보하였으며, 추가로 23,111개의 질문은 미리 훈련된 T5 모델을 사용해 인간의 요약에서 생성하였다.
• 차트 이미지에서 기반 데이터 테이블을 추출하기 위해 ChartOCR의 변형된 버전을 사용하는 데이터 추출 파이프라인을 구현하였다.
• 신경망 모델을 사용해 시각적 특징을 추출하고, 이를 데이터 테이블과 통합하여 트랜스포머 기반 QA 모델의 입력으로 사용할 수 있는 통합 표현을 구성하였다.
• 시각적 특징과 표 형태 데이터를 동시에 처리할 수 있도록 VisionTaPas와 VL-T5라는 두 가지 트랜스포머 기반 모델을 변형하여 질의 응답에 활용하였다.
• 기존 데이터셋과 새로운 ChartQA 벤치마크를 모두 대상으로 모델을 훈련하고 평가하여 복잡한 추론 작업에서의 일반화 능력과 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 기존 모델들은 실세계 차트에서 시각적 및 논리적 연산을 포함한 복잡한 인간이 작성한 추론 질문에 얼마나 잘 일반화되는가?
• RQ2 시각적 특징과 추출된 데이터 테이블을 통합하는 통합 모델은 단지 표 형태 데이터나 시각적 특징에 의존하는 모델보다 성능이 뛰어나게 되는가?
• RQ3 차트에서 중첩된 산술 연산과 시각적 구성 질문을 다룰 때의 주요 실패 유형은 무엇인가?
• RQ4 데이터 추출의 품질이 시각적 추론 작업에서의 전체 모델 성능에 미치는 영향은 어느 정도인가?
• RQ5 현재의 모델들은 색상, 선 유형, 피크 값과 같은 시각적 속성을 포함한 개방형 어휘, 자연어 질문에서 어느 정도 어려움을 겪는가?

주요 결과

• 시각적 특징과 추출된 데이터 테이블을 통합한 제안된 통합 모델은 기존 데이터셋과 새로운 ChartQA 벤치마크 양쪽 모두에서 최신 성능을 달성하였다.
• 색상, 선 유형 등 시각적 속성으로 차트 요소를 참조하는 시각적 추론 질문에서 성능이 크게 떨어지며, 이는 시각적 기반(visual grounding)에서의 핵심 과제임을 시사한다.
• 다중 산술 단계를 순차적으로 수행하는 것과 같은 중첩된 논리적 연산을 다룰 때 모델이 어려움을 겪으며, 이는 추론 조합 능력의 한계를 드러낸다.
• 정답 데이터 테이블이 제공되지 않을 경우 모델 성능이 저하됨을 확인하여, 차트에서 정확한 데이터 추출의 중요성을 확인할 수 있었다.
• VisionTapas와 VL-T5는 막대 차트에서는 뛰어난 성능을 보였지만, 파이 차트에서는 더 높은 데이터 추출 오류로 인해 성능이 떨어지며, 이는 향상된 시각적 데이터 추출 파이프라인의 필요성을 드러낸다.