[논문 리뷰] MapReader: A Computer Vision Pipeline for the Semantic Exploration of Maps at Scale

Kasra Hosseini, Daniel Wilson외 2명|arXiv (Cornell University)|2021. 11. 30.

Image Processing and 3D Reconstruction인용 수 4

한 줄 요약

MapReader는 역사학자들과 연구자가 패치 기반 컴퓨터 비전 파이프라인을 사용하여 대규모 지ap 컬렉션을 의미적으로 탐색할 수 있도록 해주는 오픈소스 파이썬 라이브러리입니다. 16,000장의 19세기 영국국토측량국 지도를 약 3,050만 개의 패치로 나누고, 전문가가 주석을付け한 62,020개의 패치를 기반으로 딥러닝 모델을 훈련하며, 결과를 외부 데이터셋과 연동함으로써 역사적 공간적 특징, 예를 들어 철도 인프라와 건물 등을 대규모로 검색 가능한 방식으로 분석할 수 있도록 합니다.

ABSTRACT

We present MapReader, a free, open-source software library written in Python for analyzing large map collections (scanned or born-digital). This library transforms the way historians can use maps by turning extensive, homogeneous map sets into searchable primary sources. MapReader allows users with little or no computer vision expertise to i) retrieve maps via web-servers; ii) preprocess and divide them into patches; iii) annotate patches; iv) train, fine-tune, and evaluate deep neural network models; and v) create structured data about map content. We demonstrate how MapReader enables historians to interpret a collection of $\\approx$16K nineteenth-century Ordnance Survey map sheets ($\\approx$30.5M patches), foregrounding the challenge of translating visual markers into machine-readable data. We present a case study focusing on British rail infrastructure and buildings as depicted on these maps. We also show how the outputs from the MapReader pipeline can be linked to other, external datasets, which we use to evaluate as well as enrich and interpret the results. We release $\\approx$62K manually annotated patches used here for training and evaluating the models.

연구 동기 및 목표

• 역사학자들과 지리학자들이 대규모이고 균일한 역사적 지도 컬렉션을 컴퓨터로 검색 가능한 방식으로 활용할 수 있도록 하는 데 도전하는 것.
• 탄력적이고 패치 수준의 주석 및 모델링 접근 방식을 통해 시각적 지도 특징과 기계가 읽을 수 있는 데이터 사이의 의미적 격차를 메우는 것.
• 컴퓨터 비전 전문 지식이 없어도 딥러닝을 활용해 역사적 지도 데이터의 고속·확장 가능한 분석을 가능하게 하는 것.
• 역사적 공간 분석을 위한 주석, 모델 훈련, 외부 데이터셋 통합을 지원하는 재사용 가능한 오픈소스 파이프라인을 구축하는 것.

제안 방법

• 대규모 지도를 고정된 크기의 겹치는 패치로 나누어 분석에 적합한 이산적이고 의미 있는 단위를 생성하는 것.
• 반복적인 레이블링과 모델 훈련이 가능한 패치워크 방법을 적용하여 픽셀 수준의 세분화에 비해 효율적인 데이터 셀렉션을 가능하게 하는 것.
• 주석이 달린 패치를 사용해 딥 네ural 네트워크를 훈련하고, 성능 향상을 위해 여러 아키텍처를 조합한 앙상블 모델을 활용하는 것.
• 이웃한 패치들을 별도의 모델에 입력하여 임베딩을 추출한 후, 이를 연결하여 최종 예측을 내리는 방식으로 맥락적 이미지 특징을 통합하는 것.
• 웹 서버 인터페이스를 통해 지도 검색을 지원하고, 상호작용 가능한 주석 도구를 통해 전문가가 패치를 주석 달 수 있도록 하는 것.
• 예를 들어 역사적 철도 네트워크와 같은 외부 데이터셋과의 통합을 통해 모델 출력의 보완과 검증을 가능하게 하는 것.

실험 결과

연구 질문

• RQ1 대규모 역사적 지도 컬렉션을 어떻게 컴퓨터로 검색 가능한 의미적 데이터 소스로 전환할 수 있는가?
• RQ2 19세기 영국국토측량국 지도에서 역사적 특징, 예를 들어 철도 인프라와 건물 등을 식별하기 위한 패치 기반 딥러닝 접근 방식의 성능과 확장성은 어떠한가?
• RQ3 전문가가 주석을付け한 패치를 어떻게 활용하여 국가 규모의 지도 컬렉션 전역에서 안정적으로 일반화되는 모델을 훈련시킬 수 있는가?
• RQ4 외부 역사적 및 지리공간 데이터셋과의 통합을 통해 모델 출력을 얼마나 보완하고 검증할 수 있는가?
• RQ5 패치 기반 방법이 기존 수작업 점검으로는 접근하기 어려웠던 역사적 지도 데이터에서 새로운 공간 패턴을 발견하는 데 얼마나 기여할 수 있는가?

주요 결과

• MapReader는 16,000장의 19세기 영국국토측량국 지도 시트에서 유래한 약 3,050만 개의 지도 패치를 성공적으로 처리하고 분석했습니다.
• 전문가가 주석을付け한 62,020개의 패치로 구성된 정제된 데이터셋을 기반으로 반복적인 모델 훈련과 검증을 통해 신뢰할 수 있는 외부 일반화 성능을 달성했습니다.
• 여러 신경망 아키텍처를 조합한 앙상블 모델이 레일스페이스와 건물과 같은 복잡한 공간적 특징의 예측 성능을 향상시켰습니다.
• 패치 기반 방법은 효율적인 주석 달기와 훈련을 가능하게 하여, 대규모 역사적 지도에 대해 픽셀 수준의 세분화에 비해 주석 비용과 실행 가능성 측면에서 뛰어난 성능을 보였습니다.
• 외부 데이터셋과의 통합을 통해 모델 출력의 검증과 보완이 가능했으며, 이는 19세기 영국에서 철도 인프라와 도시 개발 간의 공간적 관계에 대한 새로운 통찰을 드러냈습니다.
• MapReader 라이브러리와 62,020개 주석이 달린 데이터셋의 오픈소스화는 컴퓨터 비전, 머신러닝, 역사 연구 분야 간의 협업을 촉진합니다.