[논문 리뷰] ChartDETR: A Multi-shape Detection Network for Visual Chart Recognition

Wenyuan Xue, Dapeng Chen외 4명|arXiv (Cornell University)|2023. 08. 15.

Handwritten Text Recognition TechniquesComputer Science인용 수 3

한 줄 요약

ChartDETR는 쿼리 그룹과 키포인트 세트 예측을 사용하여 한 번의 순방향 전파로 차트 이미지 내 모든 데이터 요소의 형태를 예측하는 트랜스포머 기반의 다중 형태 검출 네트워크입니다. 이는 후처리를 제거합니다. 바, 선, 파이 형태의 키포인트를 직접 회귀함으로써 추가적인 설계나 그룹화 히ュ리스틱이 없이 Adobe Synthetic에서 F1 점수 0.98, ExcelChart400k에서 0.97의 최신 기준 성능을 달성합니다.

ABSTRACT

Visual chart recognition systems are gaining increasing attention due to the growing demand for automatically identifying table headers and values from chart images. Current methods rely on keypoint detection to estimate data element shapes in charts but suffer from grouping errors in post-processing. To address this issue, we propose ChartDETR, a transformer-based multi-shape detector that localizes keypoints at the corners of regular shapes to reconstruct multiple data elements in a single chart image. Our method predicts all data element shapes at once by introducing query groups in set prediction, eliminating the need for further postprocessing. This property allows ChartDETR to serve as a unified framework capable of representing various chart types without altering the network architecture, effectively detecting data elements of diverse shapes. We evaluated ChartDETR on three datasets, achieving competitive results across all chart types without any additional enhancements. For example, ChartDETR achieved an F1 score of 0.98 on Adobe Synthetic, significantly outperforming the previous best model with a 0.71 F1 score. Additionally, we obtained a new state-of-the-art result of 0.97 on ExcelChart400k. The code will be made publicly available.

연구 동기 및 목표

• 다양한 차트 형태(막대, 선, 원형)를 후처리 없이 통합 프레임워크에서 검출하는 과제를 해결하기 위해.
• 수작업으로 설계된 후처리 규칙이 필요 없도록 키포인트 기반 방법의 그룹화 오류를 극복하기 위해.
• 쿼리 그룹을 사용한 세트 예측을 통해 다수의 데이터 요소를 엔드 투 엔드로 검출하기 위해.
• 아키텍처 수정 없이 다양한 차트 유형에서 높은 정확도의 검출을 달성하기 위해.
• 다양한 차트 유형과 시각적 표현에 일반화되는 간단하면서도 효과적인 솔루션을 제공하기 위해.

제안 방법

• ChartDETR는 쿼리 그룹을 사용한 트랜스포머 기반 세트 예측 프레임워크를 활용하여 다수의 데이터 요소 형태를 동시에 예측합니다.
• 각 형태는 N개의 키포인트로 표현되며, M개의 쿼리 그룹을 사용하여 총 M×N개의 키포인트를 예측합니다. 각 그룹은 하나의 형태 검출을 담당합니다.
• 중복된 키포인트 매칭 전략은 지도 데이터 키포인트를 예측된 N개의 점에 맞추기 위해 사용되며, 이로써 점 단위의 감독이 가능해집니다.
• 예측된 키포인트 그룹과 지도 데이터 형태 사이의 이항 매칭 손실을 통해 정확한 대응을 보장합니다.
• 훈련 안정성과 성능 향상을 위해 K개의 반복된 지도 데이터 인스턴스를 포함한 하이브리드 일대다 매칭 전략을 사용합니다.
• 이 방법은 아키텍처에 종속되지 않으며, ResNet, Swin, HRNet와 같은 다양한 백본과 함께 작동하여 유연성과 확장성을 제공합니다.

실험 결과

연구 질문

• RQ1 아키텍처 수정 없이도 후처리 없이 다수의 차트 유형(막대, 선, 원형)을 통합된 딥 러닝 프레임워크로 검출할 수 있는가?
• RQ2 복잡한 공간 레이아웃을 가진 차트에서 단일 쿼리 검출기 대비 쿼리 그룹화가 다중 형태 검출에 어떤 영향을 미치는가?
• RQ3 중복 키포인트 매칭과 이항 매칭이 키포인트 정렬 정확도를 향상시키고 가짜 양성(false positives)을 줄이는 데 얼마나 기여하는가?
• RQ4 다양한 차트 데이터셋에서 견고한 검출을 위해 최적의 N(형태당 키포인트 수)과 M(최대 형태 수) 조합은 무엇인가?
• RQ5 K개의 반복된 지도 데이터 인스턴스를 포함한 일대다 매칭 전략은 모델 수렴과 성능에 어떤 영향을 미치는가?

주요 결과

• Adobe Synthetic 데이터셋에서 ChartDETR는 이전 최고 성능 모델(0.71 F1)을 크게 뛰어넘는 F1 점수 0.98을 기록했습니다.
• ExcelChart400k 벤치마크에서 ChartDETR는 새로운 최고 성능 F1 점수 0.97을 확보하여 실제 세계의 차트 이미지에 대한 강력한 일반화 능력을 입증했습니다.
• 제거 실험 결과, Adobe Synthetic에서 N=14(기본값)와 M=8 조합이 최고 성능을 보였으며, M 또는 N의 추가 증가는 성능 저하를 초래했습니다.
• K=3으로 설정한 일대다 매칭 전략이 가장 높은 성능 향상을 보였으며, 단순 일대일 매칭 대비 F1 점수를 0.029 향상시켰습니다.
• HRNet 백본은 막대 검출에서 ResNet과 Swin 버전을 능가하여 F1 점수 0.923을 기록했으며, 이는 고해상도 특징 맵이 작은, 혼잡한 막대를 검출하는 데 핵심적임을 시사합니다.
• 아키텍처 수정 없이도 모든 차트 유형에서 일관된 성능을 기록하여, 이 방법의 견고성과 일반화 능력을 입증했습니다.