[論文レビュー] The Newspaper Navigator Dataset: Extracting And Analyzing Visual Content from 16 Million Historic Newspaper Pages in Chronicling America
本論文は、Chronicling Americaに収録された1,630万件の歴史的アメリカン・ニューズペーパー記事から抽出された視覚的コンテンツを含む、公開利用可能な最大規模のデータセット「Newspaper Navigator」を紹介する。Beyond Wordsイニシャチブで収集された1万件のクラウドソーシングによるアノテーションをもとに微調整されたディーブラーニングモデルを用い、見出し、写真、図版、地図、コミック、編集コマics、広告の7種類の視覚的コンテンツタイプを抽出・分類した。加えて、OCRから得られたキャプションと画像埋め込み表現も含み、これらはすべて公開ドメインで自由に再利用可能である。
Chronicling America is a product of the National Digital Newspaper Program, a partnership between the Library of Congress and the National Endowment for the Humanities to digitize historic newspapers. Over 16 million pages of historic American newspapers have been digitized for Chronicling America to date, complete with high-resolution images and machine-readable METS/ALTO OCR. Of considerable interest to Chronicling America users is a semantified corpus, complete with extracted visual content and headlines. To accomplish this, we introduce a visual content recognition model trained on bounding box annotations of photographs, illustrations, maps, comics, and editorial cartoons collected as part of the Library of Congress's Beyond Words crowdsourcing initiative and augmented with additional annotations including those of headlines and advertisements. We describe our pipeline that utilizes this deep learning model to extract 7 classes of visual content: headlines, photographs, illustrations, maps, comics, editorial cartoons, and advertisements, complete with textual content such as captions derived from the METS/ALTO OCR, as well as image embeddings for fast image similarity querying. We report the results of running the pipeline on 16.3 million pages from the Chronicling America corpus and describe the resulting Newspaper Navigator dataset, the largest dataset of extracted visual content from historic newspapers ever produced. The Newspaper Navigator dataset, finetuned visual content recognition model, and all source code are placed in the public domain for unrestricted re-use.
研究の動機と目的
- 歴史的新聞における視覚的コンテンツへのスケーラブルで構造的なアクセスの欠如を是正し、研究者が現在はキーワード検索や手動検索に限定されている状況を改善すること。
- Chronicling Americaの1,630万件のデジタル化新聞記事から、大規模かつ意味的豊富な視覚的コンテンツデータセットを構築すること。
- 見出し、画像、広告の抽出と組織化を通じて、デジタル・ヒューマニティーズ分野における新たな研究形態を可能にすること。
- 公開ドメインで微調整済みの視覚的コンテンツ認識モデルとすべてのソースコードを公開することで、一般の参加と学術的探求を支援すること。
- クラウドソーシングによるアノテーションとディーブラーニングを組み合わせることで、新聞アーカイブにおける文化的遺産応用の価値を実証すること。
提案手法
- Beyond Wordsのクラウドソーシングイニシャチブから得られた1万件の検証済みバウンディングボックスアノテーションを用い、写真、図版、地図、コミック、編集コマics、見出し、広告をカバーするディーブラーニングオブジェクト検出モデルをトレーニングした。
- アノテーションパイプラインを拡張し、OCR補正とキャプションのトランスクリプションを追加することで、視覚的コンテンツ認識の高品質なトレーニングデータセットを構築した。
- 微調整済みモデルを用いて1,630万件のChronicling America新聞記事に適用し、7種類の視覚的コンテンツタイプと関連するバウンディングボックスを抽出・分類した。
- 各バウンディングボックス内におけるMETS/ALTO OCRからのテキストコンテンツを抽出し、高速な類似性検索とリトリーブを可能にする画像埋め込み表現を生成した。
- 全コーパスを処理可能なスケーラブルな推論パイプラインを設計し、発行日や地域によるフィルタリングをサポートすることで、モデルの汎化性能を向上させた。
- トレーニング済みモデル、データセット、およびすべてのソースコードを公開ドメインで公開し、自由な再利用とさらなる開発を促進した。
実験結果
リサーチクエスチョン
- RQ1クラウドソーシングによるアノテーションでトレーニングされたディーブラーニングモデルは、歴史的新聞における多様な視覚的コンテンツタイプを正確に抽出・分類できるか？
- RQ2大規模な新聞アーカイブにおいて、OCRおよび画像データから構造化されたメタデータ（例：キャプション、画像埋め込み）を体系的に抽出する方法は何か？
- RQ3トレーニングデータの多様性が、視覚的コンテンツが限られる19世紀前半の新聞において、モデルの汎化性能に与える影響は何か？
- RQ4歴史的新聞から抽出された視覚的コンテンツの公開オープンデータセットが、新たなデジタル・ヒューマニティーズおよびパブリック・ヒストリー研究をどの程度促進できるか？
- RQ5自動化された視覚的コンテンツ抽出は、キーワードベースの方法を超えて、歴史的新聞の探索的検索とアクセスをどの程度改善できるか？
主な発見
- Newspaper Navigatorデータセットは、1789年から1963年までの47州、ワシントンD.C.、プエルトリコをカバーする1,630万件の新聞ページを含み、包括的な視覚的コンテンツ抽出が行われた。
- 7種類の視覚的コンテンツタイプ（見出し、写真、図版、地図、コミック、編集コマics、広告）が含まれており、それぞれにOCRから得られたキャプションと画像埋め込み表現が関連付けられている。
- 視覚的コンテンツ認識モデルはBeyond Wordsトレーニングセットで高い精度を達成し、1,630万件の全コーパス処理にも成功した。
- 本データセットにより、ニュースサイクルの地域的差異、写真の再現パターン、特定の視覚的コンテンツタイプの地理的拡散に関する研究が可能になった。
- モデルとデータセットは制限なしに公開されており、デジタル・ヒューマニティーズ、教育、パブリック・ヒストリー、クリエイティブ・コンピューティングの応用分野での再利用を支援している。
- 今後の改善は、コーパス全体の10.4％を占める1875年以前のページを対象にした微調整や、Beyond Wordsプロジェクトの1万件の検証済みOCR補正データを用いたOCR補正モデルの訓練によって可能となる。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。