[논문 리뷰] ScanSSD: Scanning Single Shot Detector for Mathematical Formulas in PDF Document Images

Parag Mali, Puneeth Kukkadapu외 2명|arXiv (Cornell University)|2020. 03. 17.

Mathematics, Computing, and Information Processing인용 수 15

한 줄 요약

ScanSSD는 단일 영역 검출기(SSD)를 사용하여 슬라이딩 윈도우와 투표 기반 풀링을 통해 다중 척도에서 수식을 검출하는 딥러닝 기반의 시각적 전용 검출기이다. 이는 레이아웃, 폰트, OCR 데이터에 의존하지 않으며, TFD-ICDAR2019v2 벤치마크에서 문자 수준 수식 검출에 대해 0.925의 F-스코어와 수식 검출에 대해 IOU ≥ 0.5일 때 0.796의 F-스코어를 기록하여 뛰어난 성능을 보였다.

ABSTRACT

We introduce the Scanning Single Shot Detector (ScanSSD) for locating math formulas offset from text and embedded in textlines. ScanSSD uses only visual features for detection: no formatting or typesetting information such as layout, font, or character labels are employed. Given a 600 dpi document page image, a Single Shot Detector (SSD) locates formulas at multiple scales using sliding windows, after which candidate detections are pooled to obtain page-level results. For our experiments we use the TFD-ICDAR2019v2 dataset, a modification of the GTDB scanned math article collection. ScanSSD detects characters in formulas with high accuracy, obtaining a 0.926 f-score, and detects formulas with high recall overall. Detection errors are largely minor, such as splitting formulas at large whitespace gaps (e.g., for variable constraints) and merging formulas on adjacent textlines. Formula detection f-scores of 0.796 (IOU $\\geq0.5$) and 0.733 (IOU $\\ge 0.75$) are obtained. Our data, evaluation tools, and code are publicly available.

연구 동기 및 목표

• 레이아웃, 폰트, 문자 레이블과 같은 구조적 또는 포맷팅 메타데이터에 의존하지 않고, 봇니-디지털 및 스캔된 PDF 모두에서 작동하는 수식 검출 시스템을 개발하는 것.
• 표시된 수식과 임bedded 수식 모두에 적용 가능한, 수학적 표현에 대한 강력한 종단 간 시각적 검출 파이프라인을 구축하는 것.
• GTDB 데이터셋에서 유도된 보다 향상된 스케일 및 번역 주석을 가진 새로운 벤치마크 데이터셋(TFD-ICDAR2019v2)과 평가 도구를 제안하는 것.
• 이미지 수준의 특징만을 사용하여 수학 기호 및 수식 영역을 고정밀도로 검출함으로써 향후 수학적 콘텐츠 색인화 및 검색을 지원하는 것.

제안 방법

• 600 dpi 문서 페이지 이미지에 대해 슬라이딩 윈도우를 사용하여 다중 척도에서 수식 영역을 검출하기 위해 단일 영역 검출기(SSD)가 적용된다.
• 큰 종횡비를 가진 넓은 수식에 더 잘 맞추기 위해 1×5 크기의 기본 박스가 사용되며, 정사각형 수신장과 비교해 노이즈를 감소시킨다.
• 다양한 척도와 윈도우에서 유도된 후보 검출 결과는 투표 및 임계값 설정 절차를 통해 풀링되어 페이지 수준의 수식 검출 결과를 도출한다.
• 이 방법은 오직 시각적 특징에 의존하며, 검출 과정에서 OCR, 폰트 정보, 레이아웃 메타데이터는 사용되지 않는다.
• 원래 수집자료의 스케일 및 번역 불일치 문제를 해결하기 위해 새로운 바운딩 박스 주석을 추가한 GTDB 데이터셋의 수정 버전이 생성된다.
• 모델은 IOU 임계값이 0.5와 0.75일 때 수식 검출 성능을 평가하기 위해 TFD-ICDAR2019v2 데이터셋에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 레이아웃, 폰트, OCR 데이터에 접근할 수 없는 상황에서 딥러닝 기반 검출기가 시각적 특징만을 사용하여 높은 정확도로 문서 이미지 내 수식을 검출할 수 있는가?
• RQ2 맞춤형 기본 박스를 사용한 슬라이딩 윈도우 SSD 접근 방식은 다양한 크기와 종횡비를 가진 수식 검출에 얼마나 효과적인가?
• RQ3 투표 및 임계값 설정 기반의 풀링 전략은 수식 검출에서 임의의 양성 및 음성 결과를 얼마나 줄이는가?
• RQ4 공백 간격이나 근접도와 같은 시각적 특성과 관련하여 수식 분할 또는 융합 오류는 어떻게 관련되는가?
• RQ5 시각 전용 검출기가 새로운 수식 검출 벤치마크 데이터셋에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• ScanSSD는 수식 기호의 문자 수준 검출에 대해 0.925의 F-스코어를 기록하여 검출 영역 내 수학 콘텐츠 식별의 높은 정밀도와 재현율을 보였다.
• 수식 검출 F-스코어는 IOU ≥ 0.5일 때 0.796, IOU ≥ 0.75일 때 0.733로 TFD-ICDAR2019v2 벤치마크에서 뛰어난 성능을 입증했다.
• 검출 오류의 주요 원인은 큰 공백 간격(예: 제약 조건)에서 수식이 분할되거나 인접한 수식이 융합되는 것이며, 임의의 또는 누락된 검출은 아님을 확인했다.
• 1×5 기본 박스의 사용은 정사각형 수신장 대비 넓은 수식 검출 성능을 크게 향상시켜 노이즈를 감소시키고 수식 기하학적 형태와의 일치도 향상시켰다.
• 행렬 검출에 성공하고 수식이 아닌 숫자(예: 식 번호, 페이지 번호)는 거부함으로써 일반 문서 아티팩트에 대한 강건성을 입증했다.
• 저자들은 TFD-ICDAR2019v2 데이터셋, 평가 도구, 코드를 공개하여 수학 수식 검출 분야의 재현 가능성 및 향후 벤치마크 작업을 가능하게 했다.