[論文レビュー] MapReader: A Computer Vision Pipeline for the Semantic Exploration of Maps at Scale

Kasra Hosseini, Daniel Wilson+2 more|arXiv (Cornell University)|Nov 30, 2021

Image Processing and 3D Reconstruction被引用数 4

ひとこと要約

MapReaderは、パッチベースのコンピュータビジョンパイプラインを用いて、歴史家や研究者が大規模な地図コレクションを意味的に探索できるオープンソースのPythonライブラリである。19世紀のオルダランス・サーベイ地図1万6000枚を約3050万のパッチに分割し、62020個の専門家がアノテートしたパッチで深層学習モデルを学習させ、その結果を外部データセットにリンクすることで、鉄道インfraや建物といった歴史的空間的特徴のスケールアップされた検索可能な分析が可能になった。

ABSTRACT

We present MapReader, a free, open-source software library written in Python for analyzing large map collections (scanned or born-digital). This library transforms the way historians can use maps by turning extensive, homogeneous map sets into searchable primary sources. MapReader allows users with little or no computer vision expertise to i) retrieve maps via web-servers; ii) preprocess and divide them into patches; iii) annotate patches; iv) train, fine-tune, and evaluate deep neural network models; and v) create structured data about map content. We demonstrate how MapReader enables historians to interpret a collection of $\\approx$16K nineteenth-century Ordnance Survey map sheets ($\\approx$30.5M patches), foregrounding the challenge of translating visual markers into machine-readable data. We present a case study focusing on British rail infrastructure and buildings as depicted on these maps. We also show how the outputs from the MapReader pipeline can be linked to other, external datasets, which we use to evaluate as well as enrich and interpret the results. We release $\\approx$62K manually annotated patches used here for training and evaluating the models.

研究の動機と目的

• 歴史家や地理学者が大規模で均質な歴史的地図コレクションを計算的に検索可能にする課題に対処すること。
• 柔軟なパッチレベルのアノテーションとモデリングアプローチを通じて、視覚的地図特徴と機械可読データの間の意味的ギャップを埋めること。
• コンピュータビジョンの専門知識が不要な状態で、深層学習を用いて歴史的地図データを大規模かつスケーラブルに分析すること。
• アノテーション、モデル学習、外部データセットとの統合を支援する再利用可能でオープンソースのパイプラインを構築すること。

提案手法

• 大規模な地図を固定サイズで重複するパッチに分割し、分析に適した離散的で意味的に明確な単位を生成する。
• 繰り返しのラベル付けとモデル学習をパッチレベルで行える「パッチワーク法」を採用し、ピクセルレベルのセグメンテーションと比較して、データのキュレーションがより効率的になる。
• アノテート済みパッチを用いて深層ニューラルネットワークの訓練とファインチューニングを可能とし、複数のアーキテクチャを組み合わせたアンサンブルモデルで性能を向上させる。
• 隣接するパッチを別々のモデルに供給し、その埋め込み表現を連結することで文脈的情報を統合し、最終予測を生成する。
• 地図の検索用のウェブサーバーインターフェースと、パッチの専門家によるラベリングを支援するインタラクティブなアノテーションツールを提供する。
• 外部データセット（例：歴史的鉄道網）との統合により、モデル出力の拡張と検証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模な歴史的地図コレクションを、計算的に検索可能で意味的に構造化されたデータソースに変換する方法は何か？
• RQ2 19世紀のオルダランス・サーベイ地図において、鉄道インフラや建物といった歴史的特徴を同定するパッチベースの深層学習アプローチの性能とスケーラビリティはどの程度か？
• RQ3 専門家がアノテートしたパッチを用いて、全国規模の地図コレクションに一般化可能なモデルをどのように訓練できるか？
• RQ4 外部の歴史的および地理空間データセットとの統合によって、モデル出力をどの程度拡張・検証できるか？
• RQ5 パッチベースの手法は、従来の手作業による点検では到達できなかった、歴史的地図データにおける新しい空間的パターンの発見を可能にするか？

主な発見

• MapReaderは、1万6000枚の19世紀のオルダランス・サーベイ地図シートから得られる約3050万の地図パッチを、正常に処理・分析した。
• 62,020個の専門家がアノテートしたパッチから構成されるキュレート済みデータセットを用いた繰り返しのモデル訓練と検証により、信頼性の高いテスト外一般化が達成された。
• 複数のニューラルネットワークアーキテクチャを組み合わせたアンサンブルモデルにより、レールスペースや建物といった複雑な空間的特徴の予測性能が向上した。
• パッチベースの手法により、スケーラブルで効率的なアノテーションと学習が可能となり、ピクセルレベルのセグメンテーションと比較して、大規模な歴史的地図に対してアノテーションコストと実行可能性の面で優れた結果を示した。
• 外部データセットとの統合により、モデル出力の検証と拡張が可能となり、19世紀のイギリスにおける鉄道インフラと都市開発の空間的関係に関する新たな知見が得られた。
• MapReaderライブラリと62,020アノテーションのデータセットのオープンソース化により、コンピュータビジョン、機械学習、歴史的研究のコミュニティ間での協力が促進された。