[논문 리뷰] Neural networks for semantic segmentation of historical city maps: Cross-cultural performance and the impact of figurative diversity

Rémi Petitpierre|arXiv (Cornell University)|2020. 01. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 91인용 수 6

한 줄 요약

이 논문은 파리 및 세계 도시의 635개의 주석이 부여된 지ap도에서 심층 합성 신경망을 활용하여 역사적 도시 지도를 위한 새로운 의미 분할 모델을 제안한다. 파리에서 mIoU가 0.8905, 전 세계 코퍼스에서 0.8055를 기록하며 최신 기술 수준의 성능을 달성하였으며, 도시 지도의 도식적 다양성에 대해 높은 내구성을 보이며, 활성 학습을 위한 신뢰도 예측 방법을 도입하였다.

ABSTRACT

In this work, we present a new semantic segmentation model for historical city maps that surpasses the state of the art in terms of flexibility and performance. Research in automatic map processing is largely focused on homogeneous corpora or even individual maps, leading to inflexible algorithms. Recently, convolutional neural networks have opened new perspectives for the development of more generic tools. Based on two new maps corpora, the first one centered on Paris and the second one gathering cities from all over the world, we propose a method for operationalizing the figuration based on traditional computer vision algorithms that allows large-scale quantitative analysis. In a second step, we propose a semantic segmentation model based on neural networks and implement several improvements. Finally, we analyze the impact of map figuration on segmentation performance and evaluate future ways to improve the representational flexibility of neural networks. To conclude, we show that these networks are able to semantically segment map data of a very large figurative diversity with efficiency.

연구 동기 및 목표

• 다양한 지도 기법을 반영한 역사적 도시 지도의 의미 분할을 위한 융통성 있고 고성능의 신경망 모델 개발
• 지도 표현의 도식적 다양성이 컨volutional 신경망 성능과 일반화 능력에 미치는 영향 분석
• 문화적 및 지도 기법적 맥락에서의 학습 및 벤치마킹을 위한 표준화된 다중 클래스 주석 온톨로지 구축
• 모델의 내구성과 표현 유연성을 향상시키기 위한 방법 평가, 활성 학습 및 커리큘럼 학습 포함
• 자원이 제한된 지도 영역에서 예측의 불확실성을 식별하기 위한 신뢰도 예측 메커니즘 개발

제안 방법

• 파리 지도 330건과 세계 역사 지도 305건으로 구성된 두 개의 주석이 부여된 지도 코퍼스를 구축하여 총 635개의 학습 패치와 5개 클래스의 의미 온톨로지 활용
• 다중 모odal 분포의 명료도를 활용하여 도식적 다양성을 정량화하는 지표를 제안하여, 다양한 코퍼스 간 지도 표현의 변동성 비교 가능
• ResNet101 인코더를 탑재한 완전 컨volution 신경망(FCN)을 변형 적용하여, 프레임 사전 분할 및 ImageNet에서의 전이 학습 통합
• k-폴드 교차 검증 및 모델 자체 출력에서 유도된 앙상블 불확실성 추정치를 활용한 신뢰도 예측 구현
• 샘플 효율성과 일반화 능력을 향상시키기 위해 활성 학습, 커리큘럼 학습, 신경조절 유사 기법 탐색
• 파리 및 전 세계 코퍼스에서 3클래스 및 5클래스 분할 작업에 대해 mIoU를 활용하여 성능 벤치마킹

실험 결과

연구 질문

• RQ1 역사적 도시 지도의 도식적 다양성이 의미 분할에서 컨volutional 신경망의 성능에 어떤 영향을 미치는가?
• RQ2 지도 코퍼스 내 도식적 다양성은 어떻게 정량화하고 측정할 수 있는가?
• RQ3 다양한 문화 및 시대 간 지도 표현의 높은 변동성에 대해 훈련된 신경망은 어느 정도 내구성을 가지는가?
• RQ4 역사적 지도 분할에서 CNN의 표현 유연성과 일반화 능력을 향상시키기 위한 전략은 무엇인가?
• RQ5 미리 보지 못한 지도 패치에서 예측 신뢰도를 어떻게 추정할 수 있으며, 이를 활성 학습 유도에 활용할 수 있는가?

주요 결과

• 3클래스 분할 작업에서 파리 코퍼스에서 mIoU가 0.8905를 기록하여 이전 벤치마크를 크게 초월하였다.
• 전 세계 코퍼스에서는 3클래스 작업에서 mIoU가 0.8055에 도달하여 높은 도식적 다양성에도 불구하고 강력한 다문화 일반화 능력을 입증하였다.
• 더 복잡한 5클래스 분할 작업에서 파리 코퍼스에서는 mIoU가 0.6363, 전 세계 코퍼스에서는 0.5595를 기록하여 세분화된 카테고리에서도 뛰어난 성능을 보였다.
• 제안된 도식적 다양성 지표는 파리 코퍼스와 전 세계 코퍼스 모두가 기존 유사 데이터셋보다 유의미하게 더 높은 표현 다양성을 보임을 밝혀냈다.
• 신경망은 높은 도식적 변동성에 대해 높은 내구성을 보이며, 순수한 시각적 외관을 초월해 형태학적, 위상적, 의미적 신호를 통합함을 시사하였다.
• 신뢰도 예측 방법은 예측의 불확실성을 성공적으로 식별하여, 저성능 영역에 대한 애너테이션 부담을 줄이는 데 효과적인 활성 학습을 가능케 하였다.