[论文解读] American Stories: A Large-Scale Structured Text Dataset of Historical U.S. Newspapers

Melissa Dell, Jake Carlson+8 more|arXiv (Cornell University)|Aug 24, 2023

Web Data Mining and Analysis被引用 7

一句话总结

本文提出 American Stories，一个基于2000万份历史美国报纸扫描件、通过新型深度学习流水线构建的大规模高质量结构化文本数据集。该流水线结合版面检测、可读性分类、定制OCR及多框文本关联技术，提取出清晰的、按文章划分的文本，支持高级NLP任务与历史语言建模，相较现有数据集显著提升了准确性。

ABSTRACT

Existing full text datasets of U.S. public domain newspapers do not recognize the often complex layouts of newspaper scans, and as a result the digitized content scrambles texts from articles, headlines, captions, advertisements, and other layout regions. OCR quality can also be low. This study develops a novel, deep learning pipeline for extracting full article texts from newspaper images and applies it to the nearly 20 million scans in Library of Congress's public domain Chronicling America collection. The pipeline includes layout detection, legibility classification, custom OCR, and association of article texts spanning multiple bounding boxes. To achieve high scalability, it is built with efficient architectures designed for mobile phones. The resulting American Stories dataset provides high quality data that could be used for pre-training a large language model to achieve better understanding of historical English and historical world knowledge. The dataset could also be added to the external database of a retrieval-augmented language model to make historical information - ranging from interpretations of political events to minutiae about the lives of people's ancestors - more widely accessible. Furthermore, structured article texts facilitate using transformer-based methods for popular social science applications like topic classification, detection of reproduced content, and news story clustering. Finally, American Stories provides a massive silver quality dataset for innovating multimodal layout analysis models and other multimodal applications.

研究动机与目标

• 解决现有公共领域美国报纸数据集的局限性，这些数据集常因版面识别不佳与OCR质量低下而导致文本错乱。
• 开发一种可扩展、成本效益高的深度学习流水线，用于从历史报纸扫描件中提取结构化、高保真度的文章文本。
• 创建一个大规模、公开可用的数据集，支持历史语言模型的训练，并增强检索增强型语言模型在历史研究中的应用。
• 支持高级社会科学应用，如主题分类、故事聚类及内容重复检测，利用结构化的文章级数据。

提出的方法

• 使用 YOLOv8 进行版面检测，识别报纸扫描件中的内容区域，如文章、标题、署名和广告。
• 采用定制图像分类器过滤不可读文本区域，提升OCR输入质量。
• 实施一种新颖且高效的OCR架构，专为移动设备部署优化，确保可扩展性与成本效益。
• 应用多框关联技术，重建跨越多个边界框的完整文章文本。
• 仅聚焦于英文报纸，因其他语言在复杂脚本上的OCR性能较差，故排除外文内容。
• 将该流水线部署至整个 Chronicling America 数据集，共提取11.4亿个内容区域，覆盖广泛的时间与地理范围。

实验结果

研究问题

• RQ1 可扩展的、基于深度学习的流水线能否从具有复杂布局与可变OCR质量的历史报纸扫描件中，提取出高质量、结构化的文章文本？
• RQ2 在主题建模与聚类等下游NLP任务中，American Stories 数据集相较于 Chronicling America 的原始OCR结果，性能表现如何？
• RQ3 结构化的文章文本在多大程度上能提升基于Transformer的模型在历史NLP应用（如政治事件分析或家谱研究）中的性能？
• RQ4 该数据集能否作为训练与评估多模态版面分析模型的高质量、银标准资源？
• RQ5 布局感知的文本提取对历史媒体社会科学研究的准确性与可解释性有何影响？

主要发现

• American Stories 数据集包含11.4亿个内容区域，覆盖广泛的时间与地理范围，包含可追溯至17世纪的材料。
• 该流水线在版面检测与文本提取方面表现出高准确性，在下游NLP任务中显著优于 Chronicling America 的原始OCR结果。
• 该数据集支持新型分析能力，例如基于文章嵌入聚类新闻事件（如帕特罗·比利亚远征）。
• 该数据集支持大规模语言模型的预训练，以更好地理解历史英语与世界知识。
• 该流水线具备高度可扩展性与高效性，采用面向移动设备优化的架构，使计算资源有限的研究人员也能轻松使用。
• 该数据集托管于 HuggingFace，随着新扫描件的处理将持续更新，平台提供版本控制与通知功能。