[논문 리뷰] American Stories: A Large-Scale Structured Text Dataset of Historical U.S. Newspapers

Melissa Dell, Jake Carlson외 8명|arXiv (Cornell University)|2023. 08. 24.

Web Data Mining and Analysis인용 수 7

한 줄 요약

이 논문은 2000만 건의 역사적 미국 신문 스캔 자료에서 새로운 딥러닝 파이프라인을 활용해 유의미한 구조화된 텍스트 데이터셋인 American Stories를 도출한다. 이 파이프라인은 레이아웃 감지, 난독성 분류, 맞춤형 OCR, 다중 박스 텍스트 연동을 조합하여 깔끔한 기사 수준의 텍스트를 추출함으로써, 기존 데이터셋보다 정확도가 향상된 고급 NLP 작업과 역사적 언어 모델링을 가능하게 한다.

ABSTRACT

Existing full text datasets of U.S. public domain newspapers do not recognize the often complex layouts of newspaper scans, and as a result the digitized content scrambles texts from articles, headlines, captions, advertisements, and other layout regions. OCR quality can also be low. This study develops a novel, deep learning pipeline for extracting full article texts from newspaper images and applies it to the nearly 20 million scans in Library of Congress's public domain Chronicling America collection. The pipeline includes layout detection, legibility classification, custom OCR, and association of article texts spanning multiple bounding boxes. To achieve high scalability, it is built with efficient architectures designed for mobile phones. The resulting American Stories dataset provides high quality data that could be used for pre-training a large language model to achieve better understanding of historical English and historical world knowledge. The dataset could also be added to the external database of a retrieval-augmented language model to make historical information - ranging from interpretations of political events to minutiae about the lives of people's ancestors - more widely accessible. Furthermore, structured article texts facilitate using transformer-based methods for popular social science applications like topic classification, detection of reproduced content, and news story clustering. Finally, American Stories provides a massive silver quality dataset for innovating multimodal layout analysis models and other multimodal applications.

연구 동기 및 목표

• 기존 공공 영역의 미국 신문 데이터셋이 레이아웃 인식 능력 부족과 낮은 OCR 품질로 인해 텍스트가 뒤섞이는 문제를 해결하기 위해.
• 역사적 신문 스캔에서 고정밀도의 구조화된 기사 텍스트를 추출하기 위한 확장 가능하고 비용 효율적인 딥러닝 파이프라인을 개발하기 위해.
• 역사적 언어 모델 훈련과 역사적 연구를 위한 검색 기반 언어 모델 향상에 기여할 수 있는 대규모 공개 데이터셋을 구축하기 위해.
• 구조화된 기사 수준의 데이터를 활용해 고급 사회과학 응용 분야, 예를 들어 주제 분류, 스토리 클러스터링, 재생산 콘텐츠 탐지 등을 가능하게 하기 위해.

제안 방법

• 신문 스캔에서 기사, 헤드라인, 라인, 광고 등 콘텐츠 영역을 식별하기 위해 YOLOv8을 활용한 레이아웃 감지.
• 난독성 텍스트 영역을 걸러내기 위해 맞춤형 이미지 분류기 사용으로 OCR 입력 품질 향상.
• 이식성과 비용 효율성을 확보하기 위해 모바일 배포에 최적화된 새로운 효율적 OCR 아키텍처 구현.
• 다중 박스 연동 기법을 적용해 여러 경계 상자에 걸쳐 퍼진 완전한 기사 텍스트 재구성.
• 다양한 스크립트에서 낮은 OCR 성능을 보이는 점을 감안해 외국어는 제외하고 영어 신문에 국한.
• Chronicling America 컬렉션 전체에 파이프라인을 구현하여 총 11.4억 개의 콘텐츠 영역 확보 및 광범위한 지리적·시간적 커버리지 확보.

실험 결과

연구 질문

• RQ1 복잡한 레이아웃과 변동성이 큰 OCR 품질을 가진 역사적 신문 스캔에서 확장 가능한 딥러닝 기반 파이프라인이 고품질의 구조화된 기사 텍스트를 추출할 수 있는가?
• RQ2 American Stories 데이터셋의 성능은 주로 주제 모델링 및 클러스터링과 같은 하류 NLP 작업에서 Chronicling America의 원시 OCR과 비교해 어떻게 뛰어나게 되는가?
• RQ3 구조화된 기사 텍스트는 역사적 NLP 응용 분야, 예를 들어 정치적 사건 분석 또는 가족 나무 연구 등 트랜스포머 기반 모델의 성능 향상에 어느 정도 기여하는가?
• RQ4 이를 통해 유도된 데이터셋은 다중 모odal 레이아웃 분석 모델의 훈련 및 평가를 위한 고품질의 실버 표준 자원으로 활용될 수 있는가?
• RQ5 레이아웃 인식 기반 텍스트 추출이 역사적 미디어에 대한 사회과학 분석의 정확도와 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• American Stories 데이터셋은 총 11.4억 개의 콘텐츠 영역을 포함하고 있으며, 17세기까지 거슬러 올라가는 광범위한 지리적·시간적 커버리지가 확보되어 있다.
• 파이프라인은 레이아웃 감지 및 텍스트 추출에서 높은 정확도를 달성했으며, 하류 NLP 작업에서 Chronicling America의 원시 OCR보다 뚜렷이 뛰어난 성능을 보였다.
• 이 데이터셋은 기사 임베딩 기반으로 이벤트(예: 팬초 빌라 원정)를 기반으로 뉴스 스토리를 클러스터링하는 등 새로운 분석 기능을 가능하게 했다.
• 역사적 영어와 세계 지식 이해를 향상시키기 위해 대규모 언어 모델의 사전 훈련을 지원한다.
• 파이프라인은 매우 확장 가능하고 효율적이며, 모바일 최적화 아키텍처를 사용해 계산 자원이 제한된 연구자들에게도 접근 가능하다.
• 데이터셋은 HuggingFace에 호스팅되어 있으며, 새로운 스캔이 처리될 때마다 업데이트되며, 플랫폼을 통해 버전 관리 및 알림 기능 제공.