[论文解读] 19th Century United States Newspaper images predicted as Photographs with labels for "human", "animal", "human-structure" and "landscape"

van Strien, Daniel|arXiv (Cornell University)|Jan 11, 2022

Video Analysis and Summarization被引用 11

一句话总结

本文提出了Newspaper Navigator数据集，这是迄今为止从历史美国报纸中提取的最大的视觉内容数据集。通过在Beyond Words计划提供的10,000个众包标注的边界框上微调Faster R-CNN模型，该模型能够识别1630万页Chronicling America中的七类视觉内容类型——标题、照片、插图、地图、漫画、社论漫画和广告。该数据集、模型和代码已完全公开发布，可供无限制重用。

ABSTRACT

The Dataset contains images derived from the Newspaper Navigator (news-navigator.labs.loc.gov/), a dataset of images drawn from the Library of Congress Chronicling America collection (chroniclingamerica.loc.gov/). [The Newspaper Navigator dataset] consists of extracted visual content for 16,358,041 historic newspaper pages in <em>Chronicling America</em>. The visual content was identified using an object detection model trained on annotations of World War 1-era Chronicling America pages, including annotations made by volunteers as part of the Beyond Words crowdsourcing project. source: https://news-navigator.labs.loc.gov/ One of these categories is 'photographs'. This dataset contains a sample of these images with additional labels indicating if the photograph has one or more of the following labels: "human", "animal", "human-structure" and "landscape" The data is organised as follows: The images themselves can be found in `images.zip` `newspaper-navigator-sample-metadata.csv` contains metadata about each image drawn from the Newspaper Navigator Dataset. `multi_label.csv` contains the labels for the images as a CSV file `annotations.csv` conains the labels for the images with additional metadata This dataset was created for use in an under-review Programming Historian tutorial (http://programminghistorian.github.io/ph-submissions/lessons/computer-vision-deep-learning-pt2) The primary aim of the data was to provide a realistic example dataset for teaching computer vision for working with digitised heritage material. The data is shared here since it may be useful for others. <strong>This data documentation is a work in progress and will be updated when the Programming Historian tutorial is released publicly. </strong> The metadata CSV file contains the following columns: - filepath<br> - pub_date<br> - page_seq_num<br> - edition_seq_num<br> - batch<br> - lccn<br> - box<br> - score<br> - ocr<br> - place_of_publication<br> - geographic_coverage<br> - name<br> - publisher<br> - url<br> - page_url<br> - month<br> - year<br> - iiif_url

研究动机与目标

• 解决在历史美国报纸中发现和分析视觉内容时缺乏可扩展、自动化的工具的问题。
• 克服在Chronicling America中使用关键词或人工搜索的局限性，这些方法阻碍了对内战地图或20世纪初漫画条等视觉媒体的大规模研究。
• 构建一个可扩展的流程，利用深度学习从高分辨率报纸图像中提取并语义标注视觉内容。
• 为数字人文、教育和公共历史等领域的研究人员创建一个公开可用、可重用的视觉内容数据集，附带相关文本元数据。

提出的方法

• 使用Beyond Words众包计划提供的10,000个经验证的边界框标注，对预训练的Faster R-CNN模型进行微调，模型来自Detectron2。
• 利用METS/ALTO OCR数据提取位于预测视觉内容边界框内的文本内容（例如标题、说明文字）。
• 设计了一个处理Chronicling America中1630万张报纸页面的流程，应用训练好的模型检测并标注七种类别的视觉内容。
• 为图像生成嵌入向量，以支持在语料库中基于相似性的视觉内容快速查询。
• 将训练好的模型、Newspaper Navigator数据集及所有源代码发布在公共领域，供无限制重用。
• 将该流程应用于提取并组织带有元数据的视觉内容，从而支持新型探索性与分析性研究。

实验结果

研究问题

• RQ1 如何在历史报纸页面中大规模自动检测和标注照片、地图和社论漫画等视觉内容？
• RQ2 在仅有限众包标注数据的基础上训练的深度学习模型，在19世纪和20世纪初报纸中进行视觉内容识别时，其性能和泛化能力如何？
• RQ3 如何结构化提取的视觉内容及其相关文本元数据（例如标题、说明文字），以支持数字人文研究中的高级搜索与分析查询？
• RQ4 自动化视觉内容提取对研究内战地图或早期漫画条在美国各地区传播等历史现象有何影响？
• RQ5 视觉内容识别与OCR数据的结合，如何推动历史报纸中新型探索性搜索与文本复现分析的实现？

主要发现

• Newspaper Navigator数据集包含从1630万张历史美国报纸页面中提取的视觉内容，是迄今生产规模最大的此类数据集。
• 视觉内容识别模型在检测照片、插图、地图、漫画、社论漫画、标题和广告方面表现优异，验证过程中仅观察到极少数误报，例如在内战地图收藏中。
• 该流程成功从METS/ALTO OCR数据中提取并关联了预测边界框内的文本内容（例如标题、说明文字），实现了视觉内容的语义增强。
• 该数据集包含7种类别的视觉内容，每类均配有图像嵌入向量和文本元数据，支持基于相似性的快速图像检索。
• 模型和数据集已公开发布，附带完整源代码，可供研究人员、教育工作者和开发者无限制重用。
• 该方法支持对历史报纸中视觉媒体的大规模、可重复分析，例如追踪特定地图类型或新闻周期在地理和时间上的传播。