[논문 리뷰] Chart-to-Text: Generating Natural Language Descriptions for Charts by Adapting the Transformer Model

Jason Obeid, Enamul Hoque|arXiv (Cornell University)|2020. 10. 18.

Data Visualization and Analytics인용 수 9

한 줄 요약

이 논문은 8,305개의 차트-요약 쌍으로 구성된 새로운 대규모 데이터셋을 소개하고, 사실적 일致성을 향상시키기 위해 데이터 값을 변수로 대체함으로써 차트의 자연어 기술을 생성하는 트랜스포머 기반 신경망 모델을 제안한다. 이 모델은 콘텐츠 선택 측면에서 강력한 베이스라인(55.42% 대 8.49%)을 능가하며, 더 정보가 풍부하고 간결하고 일관된 요약문을 생성하여, 차트 요약을 위해 특별히 설계된 첫 번째 데이터 기반 딥 러닝 접근법을 확립한다.

ABSTRACT

Information visualizations such as bar charts and line charts are very popular for exploring data and communicating insights. Interpreting and making sense of such visualizations can be challenging for some people, such as those who are visually impaired or have low visualization literacy. In this work, we introduce a new dataset and present a neural model for automatically generating natural language summaries for charts. The generated summaries provide an interpretation of the chart and convey the key insights found within that chart. Our neural model is developed by extending the state-of-the-art model for the data-to-text generation task, which utilizes a transformer-based encoder-decoder architecture. We found that our approach outperforms the base model on a content selection metric by a wide margin (55.42% vs. 8.49%) and generates more informative, concise, and coherent summaries.

연구 동기 및 목표

• 차트 요약을 위한 대규모이고 고품질의 데이터셋 부족 문제를 해결하기 위해.
• 차트에서 정보가 풍부하고 간결하고 일관된 자연어 요약문을 생성하는 신경망 모델을 개발하기 위해.
• 학습 중 데이터 값을 변수로 대체함으로써 차트 텍스트 생성의 사실적 정확성을 향상시키기 위해.
• 자동화된 정확한 요약을 통해 시각 장애를 가진 사용자들이 데이터 시각화에 접근할 수 있도록 지원하기 위해.
• 딥 러닝을 활용한 데이터 기반 차트 요약의 새로운 벤치마크를 설정하기 위해.

제안 방법

• 모델는 데이터 텍스트 생성 모델에서 유도된 트랜스포머 인코더-디코더 아키텍처를 기반으로 한다.
• 데이터 변수 치환 방법을 통해 정답 요약문 내 특정 데이터 토큰을 자리표시자로 대체하여 일반화 능력과 사실적 일치성을 향상시킨다.
• 차트 이미지, 기초 데이터 테이블, 그리고 인간이 작성한 요약문을 포함한 총 8,305개의 차트-요약 쌍으로 구성된 새로 쌓은 데이터셋을 기반으로 모델를 미세조정한다.
• 순서적 관계를 추적하고 생성된 요약문의 논리적 구조를 향상시키기 위해 위치 임베딩을 사용한다.
• 생성된 요약문의 정보성, 간결성, 일관성을 평가하기 위해 인간 평가를 실시한다.
• 자동 평가로는 콘텐츠 선택, BLEU, ROUGE, METEOR 등의 지표를 사용하여 Gong 등(2019)의 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 데이터 기반 딥 뉴럴 모델은 템플릿 기반 또는 계획 기반 접근법보다 더 정확하고 정보가 풍부한 차트 요약문을 생성할 수 있는가?
• RQ2 학습 중 데이터 값을 변수로 대체함으로써 차트 텍스트 생성의 사실적 일치성은 어떻게 영향을 받는가?
• RQ3 위치 임베딩은 생성된 요약문의 일관성과 구조적 질에 얼마나 기여하는가?
• RQ4 학습 데이터가 제한된 저자원 도메인에 대해 모델의 일반화 능력은 어떠한가?
• RQ5 제안된 모델은 차트 요약의 콘텐츠 선택과 유창성 측면에서 기존의 베이스라인을 뚜렷이 능가할 수 있는가?

주요 결과

• 제안된 모델은 차트에서 핵심 통찰을 식별하고 전달하는 데 있어 콘텐츠 선택 점수 55.42%를 기록하여, 베이스라인 모델(8.49%)을 크게 앞서며 성능을 뛰어넘었다.
• 인간 평가 결과, 모델가 생성한 요약문은 베이스라인 대비 더 정보가 풍부하고 간결하며 일관성이 높은 것으로 확인되었다.
• 데이터 변수 치환을 통해 환각 현상을 줄여 사실적으로 더 정확한 문장 생성이 가능해졌다.
• 위치 임베딩은 논리적 구조를 향상시켜 문장 수준의 일관성과 요약문 내 아이디어 간 연결성을 향상시켰다.
• 오류 분석 결과, 환각 현상은 주로 잘못된 데이터 인덱싱 또는 관련 없는 토큰 생성으로 인해 발생하며, 특히 저자원 도메인에서 두드러졌다.
• 고커버리 도메인(예: 스포츠, 금융)에서는 모델가 더 나은 성능을 보였으며, 특히 학습 데이터가 풍부할 경우 베이스라인 대비 관련 없는 토큰 생성 수가 적었다.