[논문 리뷰] StructChart: On the Schema, Metric, and Augmentation for Visual Chart Understanding

Renqiu Xia, Hao-Yang Peng외 8명|arXiv (Cornell University)|2023. 09. 20.

Advanced Text Analysis TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 시각적 차트 인식과 추론을 통합적으로 처리하기 위해 Structured Triplet Representations (STR)를 도입하여 인식-추론 작업 간 격차를 줄이고, 평가를 위한 새로운 Structuring Chart-oriented Representation Metric (SCRM)와 LLM 기반 데이터 증강 방법을 제안한다. 실험 결과, STR와 SimChart9K 합성 데이터셋을 사용할 경우, 특히 소수의 예시 설정에서 성능이 크게 향상되어 ChartQA 및 기타 후행 작업에서 이전 방법들을 능가한다.

ABSTRACT

Charts are common in literature across various scientific fields, conveying rich information easily accessible to readers. Current chart-related tasks focus on either chart perception that extracts information from the visual charts, or chart reasoning given the extracted data, e.g. in a tabular form. In this paper, we introduce StructChart, a novel framework that leverages Structured Triplet Representations (STR) to achieve a unified and label-efficient approach to chart perception and reasoning tasks, which is generally applicable to different downstream tasks, beyond the question-answering task as specifically studied in peer works. Specifically, StructChart first reformulates the chart data from the tubular form (linearized CSV) to STR, which can friendlily reduce the task gap between chart perception and reasoning. We then propose a Structuring Chart-oriented Representation Metric (SCRM) to quantitatively evaluate the chart perception task performance. To augment the training, we further explore the potential of Large Language Models (LLMs) to enhance the diversity in both chart visual style and statistical information. Extensive experiments on various chart-related tasks demonstrate the effectiveness and potential of a unified chart perception-reasoning paradigm to push the frontier of chart understanding.

연구 동기 및 목표

• 차트 인식과 추론 간 큰 작업 격차를 해소하기 위해 둘을 동일한 학습 프레임워크 아래 통합한다.
• 기존 평가 지표의 한계를 극복하기 위해 차트 내 관계적 데이터 정보를 포괄하는 종합적이고 구조화된 평가 지표(SCRM)를 개발한다.
• 비용이 많이 들고 수작업으로 주석 처리된 차트 데이터에 대한 의존도를 줄이기 위해, 다양한 통계적 및 시각적 특성을 가진 현실적인 합성 차트를 생성하기 위해 LLM을 활용한다.
• 더 나은 중간 표현과 데이터 증강을 통해 차트 이해 작업에서 제로샷 및 소수의 예시 설정에서의 일반화 능력을 향상시킨다.
• 질문-응답을 넘어서 다양한 차트 유형과 후행 작업에 적용 가능한 강력하고 확장 가능하며 레이블 효율적인 프레임워크를 구축한다.

제안 방법

• 선형화된 CSV(LCT)에서부터 Structured Triplet Representations(STR)로 차트 정보를 재구성하여, 데이터를 (행, 열, 값) 삼중표로 표현함으로써 구조적 및 관계적 정보를 유지한다.
• STR 기반으로 새로운 평가 지표인 Structuring Chart-oriented Representation Metric(SCRM)를 설계하여, 구조화된 데이터 무결성 측정을 통해 인식 품질을 정량적으로 평가한다.
• 통계 분포를 질의하고, 그에 따라 그림 그리기 코드(예: matplotlib를 통해)를 생성하는 LLM 기반 자기 점검 데이터 생성 파이프라인을 개발하여 다양한 현실적인 차트를 합성한다.
• 제안된 STR 형식과 증강된 SimChart9K 데이터셋을 사용해 비전-언어 모델을 훈련하여 인식 및 추론 능력을 동시에 최적화한다.
• GPT-3.5를 사용한 소수의 예시 프롬프팅을 통해 추론 성능을 평가하고, 입력 표현으로서의 STR과 LCT를 비교한다.
• ChartQA, PlotQA, Chart2Text 등 여러 벤치마크에서 제로샷 및 소수의 예시 설정을 포함해 광범위한 추론 및 일반화 연구를 수행한다.

실험 결과

연구 질문

• RQ1 선형화된 CSV(LCT)에 비해 구조화된 차트 데이터 표현(STR)이 인식-추론 작업 격차를 유의미하게 줄일 수 있는가?
• RQ2 제안된 SCRM 지표가 기존 지표를 초월해 차트 인식 성능을 효과적이고 정량적으로 평가할 수 있는가?
• RQ3 LLM 기반 데이터 생성이 차트 이해 모델의 일반화 능력과 소수의 예시 성능을 향상시킬 수 있는가?
• RQ4 StructChart 프레임워크는 질문 응답, 요약, 재그리기 등 다양한 후행 작업에서 어떻게 성능을 발휘하는가?
• RQ5 SimChart9K 합성 데이터셋이 특히 자원이 제한된 환경에서 모델의 일반화 능력을 얼마나 향상시키는가?

주요 결과

• STR 표현을 사용한 StructChart 프레임워크는 소수의 예시 설정에서 ChartQA에서 0.8206의 스트릭트 F1 스코어를 기록하여 베이스라인을 능가하고, 비공개 데이터셋으로 훈련된 모델에 가까운 성능을 달성한다.
• LCT 대비 STR를 사용할 경우 GPT-3.5의 추론 성능이 향상되어 ChartQA에서 0.8002의 고 F1 스코어를 기록(비교 대상 LCT는 0.7661), 더 나은 구조적 이해 능력을 입증한다.
• SCRM 지표는 인식 품질과 효과적으로 상관관계를 가지며, 특히 관계적 데이터 구조를 포착하는 데 있어 후행 작업 성능과 강한 일치를 보인다.
• SimChart9K 합성 데이터셋은 소수의 예시 성능을 크게 향상시킨다. ChartQA0.5+SimChart9K 설정에서 고 F1 스코어가 0.8380에 도달하여, SimChart9K만으로 제로샷 설정에서 27% 상대적 향상이 이루어졌다.
• 제로샷 평가에서 모델은 SimChart9K에서 0.2527의 고 F1 스코어를 기록하여, 실제 차트 데이터로의 피지컬 튜닝 없이도 합성 데이터로부터 강력한 일반화 능력을 보였음을 시사한다.
• 정성적 결과는 STR가 LCT보다 더 정확한 차트 재그리기 및 요약을 가능하게 하여, 구조적 의미 정보를 유지하는 데서의 우수성을 확인한다.