[논문 리뷰] A Question-Answering framework for plots using Deep learning.

Revanth Reddy, Rahul Ramesh외 2명|arXiv (Cornell University)|2018. 06. 12.

Topic Modeling참고 문헌 14인용 수 3

한 줄 요약

이 논문은 막대 그래프와 원형 차트에서의 질의-응답를 위해 복합적으로 플롯 요소를 식별하고, 값을 정량화하며, 값의 순서를 결정하는 새로운 딥러닝 프레임워크를 제안한다. 이 프레임워크는 FigureQA 데이터셋에서 Relation Networks 및 CNN-LSTM 기준선보다 뛰어난 성능을 보이며, 1개의 GPU에서 약 2일간의 빠른 훈련을 통해 시각-시각 추론 작업에서 향상된 추론 능력과 효율성을 입증한다.

ABSTRACT

Deep Learning has managed to push boundaries in a wide variety of tasks. One area of interest is to tackle problems in reasoning and understanding, in an aim to emulate human intelligence. In this work, we describe a deep learning model that addresses the reasoning task of question-answering on bar graphs and pie charts. We introduce a novel architecture that learns to identify various plot elements, quantify the represented values and determine a relative ordering of these statistical values. We test our model on the recently released FigureQA dataset, which provides images and accompanying questions, for bar graphs and pie charts, augmented with rich annotations. Our approach outperforms the state-of-the-art Relation Networks baseline and traditional CNN-LSTM models when evaluated on this dataset. Our model also has a considerably faster training time of approximately 2 days on 1 GPU compared to the Relation Networks baseline

연구 동기 및 목표

• 막대 그래프 및 원형 차트와 같은 시각적 플롯을 추론할 수 있는 딥러닝 모델을 개발하는 것.
• 시각적 데이터에 대한 정량적 추론을 포함하는 시각적 질의-응답 작업에서 성능을 향상시키는 것.
• 기존 모델인 Relation Networks 및 CNN-LSTM이 플롯 구조와 값 간의 관계를 이해하는 데 한계를 보이는 문제를 해결하는 것.
• 정확도를 유지하거나 향상시키면서도 훈련 시간을 단축시키는 것.

제안 방법

• 모델은 막대, 조각, 레이블, 축과 같은 플롯 요소를 탐지하고 국소화하기 위해 설계된 새로운 아키텍처를 사용한다.
• 시각적 특징에서 수치적 크기를 추정함으로써, 엔드 투 엔드 학습을 통해 표현된 값을 정량화한다.
• 탐지된 요소들에 대한 구조적 추론을 통해 통계적 값의 상대적 순서를 학습한다.
• 시각적 특징 추출과 추론 모듈을 통합하여 요소 탐지와 값 추론을 동시에 최적화한다.
• 풍부한 애너테이션을 제공하는 FigureQA 데이터셋을 사용해 지도 학습 방식으로 엔드 투 엔드로 훈련된다.
• 단일 GPU에서 훈련이 수행되어 약 2일간의 훈련 시간을 기록한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 막대 그래프와 원형 차트의 플롯 요소를 효과적으로 인식하고 추론할 수 있는가?
• RQ2 제안된 모델은 FigureQA의 시각적 QA 작업에서 Relation Networks 및 CNN-LSTM 기준선과 비교해 성능가능한가?
• RQ3 정확도를 유지하거나 향상시키면서도 훈련 효율성이 얼마나 향상되는가?
• RQ4 모델은 시각적 플롯에서 정량적 값을 정확히 추론하고 그 상대적 순서를 파악할 수 있는가?

주요 결과

• 제안된 모델은 FigureQA 데이터셋에서 Relation Networks 기준선보다 뛰어난 성능을 달성한다.
• 복잡한 질문에 대한 답변과 시각적 플롯에 대한 추론에서 전통적인 CNN-LSTM 모델보다 뛰어난 성능을 보인다.
• 단일 GPU에서 훈련할 경우 훈련 시간을 약 2일로 단축시켜, Relation Networks 기준선보다 훨씬 빠른 훈련 속도를 확보한다.
• 시각적 표현에서 플롯 구성 요소를 식별하고 수치적 값을 추론하는 데 있어 개선된 일반화 능력을 보여준다.