[논문 리뷰] DePlot: One-shot visual language reasoning by plot-to-table translation

Fangyu Liu, Julian Martin Eisenschlos외 8명|arXiv (Cornell University)|2022. 12. 20.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

DePlot는 종단간 이미지-텍스트 트랜스포머 모델을 사용하여 플롯을 구조화된 표로 변환하는 일회성 시각 언어 추론 프레임워크를 도입한다. 이는 대규모 언어 모델(LLM)과 결합할 경우 최신 기술 성능을 달성하며, ChartQA에서 인간이 작성한 질의에 대해 단일 예시 프롬프팅만으로도 이전 최고 성능 모델 대비 29.4% 향상된 성능을 기록한다.

ABSTRACT

Visual language such as charts and plots is ubiquitous in the human world. Comprehending plots and charts requires strong reasoning skills. Prior state-of-the-art (SOTA) models require at least tens of thousands of training examples and their reasoning capabilities are still much limited, especially on complex human-written queries. This paper presents the first one-shot solution to visual language reasoning. We decompose the challenge of visual language reasoning into two steps: (1) plot-to-text translation, and (2) reasoning over the translated text. The key in this method is a modality conversion module, named as DePlot, which translates the image of a plot or chart to a linearized table. The output of DePlot can then be directly used to prompt a pretrained large language model (LLM), exploiting the few-shot reasoning capabilities of LLMs. To obtain DePlot, we standardize the plot-to-table task by establishing unified task formats and metrics, and train DePlot end-to-end on this task. DePlot can then be used off-the-shelf together with LLMs in a plug-and-play fashion. Compared with a SOTA model finetuned on more than >28k data points, DePlot+LLM with just one-shot prompting achieves a 24.0% improvement over finetuned SOTA on human-written queries from the task of chart QA.

연구 동기 및 목표

• 기존 시각 언어 추론 모델이 수천 개의 미세조정 예시가 필요하고 복잡한 인간이 작성한 질의에서 성능이 떨어지는 데서 비롯되는 한계를 해결하기 위해.
• 플롯 이해를 플롯-표 번역과 이후 LLM 기반 추론으로 분리함으로써 소수의 예시를 사용한 시각 언어 추론을 가능하게 하기 위해.
• 행/열 순서 변경에 대해 불변이며 상대적 숫자 오차에 관용적인 특성을 지닌 통합 평가 지표를 통해 플롯-표 작업의 표준화를 위해.
• 특정 작업에 맞게 설계된 엔지니어링 없이 다양한 차트 유형에 일반화되는 플러그 앤 플레이 모odal 전환 모듈 DePlot을 개발하기 위해.
• 표 기반 프롬프팅을 통해 LLM을 활용하면 종단간 미세조정 모델보다 훨씬 적은 감독으로도 슈퍼리미엄 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• DePlot은 합성 및 웹 크롤링된 차트-표 쌍의 혼합 코퍼스를 사용하여 입력 플롯에서 선형화된 텍스트 표로 변환하는 종단간 이미지-텍스트 트랜스포머 모델이다.
• 모델은 입력 플롯의 텍스트 및 숫자 정보를 모두 유지하는 구조화된 표 형식의 텍스트 표현을 생성하도록 훈련된다.
• 행/열 순서 변경에 대해 불변이며 상대 오차에 관용적인 특성을 지닌 새로운 표 유사도 지표인 RMS_F1을 제안하여 플롯-표 번역을 평가한다.
• DePlot의 출력은 체인 오브 씽크스(CoT) 및 프로그램 오브 씽크스(PoT)와 같은 소수의 예시 프롬프팅 기법을 사용한 사전 훈련된 LLM의 입력으로 사용된다.
• 프레임워크는 두 단계로 운영된다: (1) DePlot을 통한 플롯-표 번역, (2) 소수의 예시 프롬프팅을 사용한 LLM을 통한 생성된 표 기반 추론.
• ChartQA 및 PlotQA에서의 평가를 통해 정밀도와 실패 모드 분석을 수행하여 내성적 안정성과 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 일관된 종단간 모델이 플롯-표 번역을 수행할 경우, 다양한 차트 유형에 걸쳐 정확도와 일반화 능력 면에서 하이브리드 규칙 기반 시스템을 능가할 수 있는가?
• RQ2 정확한 표 번역을 기반으로 한 단일 예시 프롬프팅 전략이, 수천 개의 미세조정 예시가 필요한 완전히 감독된 최고 성능 모델보다 복잡한 인간이 작성한 질의에서 슈퍼리미엄 성능을 달성할 수 있는가?
• RQ3 구조적 및 숫자적 변형을 고려하여 공정하게 평가할 수 있도록, 강건하고 불변적인 평가 지표를 어떻게 설계할 수 있는가?
• RQ4 DePlot은 훈련 중에 볼 수 없었던 외부 도메인의 차트, 특히 다른 출처나 도구에서 유래한 차트에 얼마나 잘 일반화되는가?
• RQ5 DePlot의 주요 실패 원인은 무엇이며, 색상이나 방향성과 같은 시각적 특성이 번역 정확도에 어떤 영향을 미치는가?

주요 결과

• DePlot는 ChartQA 벤치마크에서 인간이 작성한 질의에 대해 이전 최고 성능 모델 대비 29.4%의 절대적 성능 향상을 기록하였으며, 이는 단일 예시 감독만을 사용한 결과이다.
• DePlot + LLM 프레임워크는 수천 개의 미세조정 예시가 필요한 완전히 감독된 최고 성능 모델을 능가하며, 정확한 표 번역을 기반으로 한 소수의 예시 프롬프팅의 힘을 입증한다.
• DePlot은 OCR 기반 베이스라인 및 기타 종단간 모델보다 플롯-표 번역 작업에서 뚜렷한 성능 향상을 보이며, 다양한 차트 유형에 걸쳐 균일하게 처리하는 데서 두드러진다.
• TaTa 데이터셋의 외부 분포 차트에서 DePlot은 평균 RMS_F1 점수 78%를 기록하여 중간 정도의 일반화 능력을 보였지만, 외부 레이블과 인접한 텍스트 처리에 어려움을 겪는다.
• 실패 사례의 주요 원인은 시각적 간섭(예: 참고 자료, 각주)과 화살표로 연결된 레이블이었으며, 이는 데이터 전처리 및 훈련 데이터의 강건성 향상 필요성을 시사한다.
• 연구에서는 디코딩 타겟에 색상 및 방향성과 같은 시각적 특성을 통합하는 것이 성능 향상에 기여할 수 있음을 확인하였으며, 향후 연구의 유망한 방향성을 제시한다.