[논문 리뷰] Answering Questions about Data Visualizations using Efficient Bimodal Fusion

Kushal Kafle, Robik Shrestha외 3명|arXiv (Cornell University)|2019. 08. 05.

Multimodal Machine Learning Applications참고 문헌 44인용 수 4

한 줄 요약

이 논문은 차트 질의 응답(CQA)를 위한 새로운 이중모달 융합 모델인 PReFIL을 제안한다. 이 모델은 병렬 순환 융합을 통해 이미지 및 언어 특징을 융합하여 최신 기술 수준의 성능을 달성한다. PReFIL은 DVQA 및 FigureQA 데이터셋에서 이전의 방법들뿐 아니라 인간 기준 성능까지도 뛰어넘으며, 반복적 질의 응답을 통한 표 재구성 기능을 제공함으로써 강력한 일반화 능력을 입증한다.

ABSTRACT

Chart question answering (CQA) is a newly proposed visual question answering (VQA) task where an algorithm must answer questions about data visualizations, e.g. bar charts, pie charts, and line graphs. CQA requires capabilities that natural-image VQA algorithms lack: fine-grained measurements, optical character recognition, and handling out-of-vocabulary words in both questions and answers. Without modifications, state-of-the-art VQA algorithms perform poorly on this task. Here, we propose a novel CQA algorithm called parallel recurrent fusion of image and language (PReFIL). PReFIL first learns bimodal embeddings by fusing question and image features and then intelligently aggregates these learned embeddings to answer the given question. Despite its simplicity, PReFIL greatly surpasses state-of-the art systems and human baselines on both the FigureQA and DVQA datasets. Additionally, we demonstrate that PReFIL can be used to reconstruct tables by asking a series of questions about a chart.

연구 동기 및 목표

• 기존의 VQA 모델이 데이터 시각화를 이해하는 데에 한계를 보이며, 세밀한 측정, OCR, 그리고 어휘에 없는 단어를 다루는 데에 어려움을 겪는 점을 해결하기 위해.
• 다양한 차트 유형과 질문 형식에 걸쳐 일반화되는 견고한 CQA 시스템을 개발하기 위해.
• DVQA 및 FigureQA와 같은 표준 CQA 데이터셋에서 최신 기술 수준의 성능을 뛰어넘기 위해.
• 자동으로 차트에서 표를 재구성하는 것과 같은 후행 작업을 위한 CQA 모델의 가능성을 탐색하기 위해.
• 현재 데이터셋의 격차를 파악하고 더 현실적이고 도전적인 CQA 벤치마크를 위한 방향도 제안하기 위해.

제안 방법

• PReFIL은 저수준 및 고수준 표현 모두에서 이중모달 임베딩을 학습하기 위해 이미지 및 언어 특징을 병렬 순환 방식으로 융합한다.
• 이중 스트림 아키텍처를 사용하여 CNN를 통해 이미지 특징을 인코딩하고, RNN를 통해 질문 특징을 인코딩한 후, 연결 및 게이트드 순환 유닛을 통해 조기 융합을 수행한다.
• 융합된 임베딩의 계층적 집계를 통해 명시적인 주의 또는 관계 모듈 없이 다단계 추론을 수행한다.
• 융합 이전에 풍부하고 구분력 있는 특징을 추출하기 위해 사전 학습된 시각적 및 텍스트 인코더를 활용한다.
• 표 재구성에 대해 PReFIL은 사전 정의된 질문 템플릿을 사용해 반복적 QA를 적용하여 차트에서 막대 수, 레이블, 값을 추출한다.
• 시스템은 CQA 데이터셋에서 엔드 투 엔드로 훈련되며, 정확도 및 F1 점수와 같은 표준 메트릭을 사용해 평가된다.

실험 결과

연구 질문

• RQ1 간단하면서도 효과적인 이중모달 융합 기법이 복잡한 주의 기반 모델보다 차트 질의 응답에서 뛰어난 성능을 낼 수 있는가?
• RQ2 CQA 모델이 구조화된 차트 이해 작업에서 인간 성능을 어느 정도 초월할 수 있는가?
• RQ3 CQA 모델을 사용해 반복적 질의 응답을 통해 시각화에서 기반 데이터 표를 높은 정밀도로 재구성할 수 있는가?
• RQ4 OCR 품질과 어휘에 없는 단어가 CQA 성능에 어떤 영향을 미치며, 모델이 이러한 과제에 얼마나 견고한가?
• RQ5 현재 CQA 데이터셋의 핵심적 한계는 무엇이며, 향후 벤치마크는 실제 세계의 차트 이해를 더 잘 반영할 수 있는가?

주요 결과

• PReFIL은 DVQA 데이터셋에서 91.14%의 정확도를 기록했으며, FigureQA에서는 90.88%를 달성하여 이전 최신 기술 수준의 방법들을 뛰어넘었다.
• FigureQA에서 PReFIL은 인간 기준(88.5%)을 초월해 90.88%의 정확도를 기록했다.
• DVQA에서 오라클 OCR을 사용할 경우, PReFIL은 모든 질문 유형에서 인간 성능을 초월했으며, 새로운 테스트 차트에서 91.10%의 정확도를 기록했다.
• 알고리즘 1을 사용한 표 재구성은 익숙한 차트에서 90.79%의 총 정확도, 새로운 차트에서는 91.10%의 정확도를 기록했으며, 형태 예측은 거의 완벽한 수준(99.97%)을 달성했다.
• 모델는 고품질 OCR과 함께 사용될 경우 어휘에 없는 단어와 복잡한 추론에 대해 뛰어난 견고성을 보였다.
• 연구 결과, OCR 품질이 성능에 결정적인 장애물임을 확인했으며, 저품질 OCR 모델을 사용할 경우 성능이 크게 떨어졌다.