[논문 리뷰] Joint Learning from Earth Observation and OpenStreetMap Data to Get Faster Better Semantic Maps

Nicolas Audebert, Bertrand Le Saux외 1명|arXiv (Cornell University)|2017. 05. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 2인용 수 9

한 줄 요약

이 논문은 다중스펙트럼 항공 및 위성 영상의 의미적 레이블링을 위한 딥러닝 모델에 OpenStreetMap (OSM) 데이터를 보조 입력으로 통합하는 방법을 제안한다. FuseNet 및 잔차 보정 아키텍처를 사용하여 OSM 래스터(특히 도로, 건물, 식생)와 다중스펙트럼 데이터를 융합함으로써, ISPRS Potsdam 및 DFC2017와 같은 공개 데이터셋에서 정확도를 최대 5% 향상시키고 모델 수렴 속도를 25% 향상시킨다.

ABSTRACT

In this work, we investigate the use of OpenStreetMap data for semantic labeling of Earth Observation images. Deep neural networks have been used in the past for remote sensing data classification from various sensors, including multispectral, hyperspectral, SAR and LiDAR data. While OpenStreetMap has already been used as ground truth data for training such networks, this abundant data source remains rarely exploited as an input information layer. In this paper, we study different use cases and deep network architectures to leverage OpenStreetMap data for semantic labeling of aerial and satellite images. Especially , we look into fusion based architectures and coarse-to-fine segmentation to include the OpenStreetMap layer into multispectral-based deep fully convolutional networks. We illustrate how these methods can be successfully used on two public datasets: ISPRS Potsdam and DFC2017. We show that OpenStreetMap data can efficiently be integrated into the vision-based deep learning models and that it significantly improves both the accuracy performance and the convergence speed of the networks.

연구 동기 및 목표

• 원격 감지 의미 분할에서 OSM 데이터를 지도 데이터로만 사용하는 것이 아니라 입력 특징으로서의 잠재적 활용이 부족한 문제를 해결한다.
• OSM의 의미적 및 공간적 정보를 통합함으로써 지구관측(Earth Observation, EO) 영상의 의미적 레이블링을 위한 딥러닝 모델의 정확도와 수렴 속도를 향상시킨다.
• 도시 및 식생 지형 클래스의 분류 성능 향상을 위해 다중스펙트럼 EO 데이터와 OSM 래스터 간의 효과적인 융합 전략을 탐구한다.
• 기본 데이터셋에서의 성능 평가를 통해 다양한 지리적 조건과 데이터 품질 조건에서의 견고성과 확장 가능성을 입증한다.

제안 방법

• 입력 다중스펙트럼 영상의 공간 해상도에 맞게 OSM 벡터 레이어(도로, 건물, 식생 등)를 래스터화한다.
• 다중스펙트럼 영상과 OSM 래스터를 기능 수준에서 융합하는 FuseNet 스타일 아키텍처를 활용하여 이질적인 데이터 소스로부터 공동 학습을 가능하게 한다.
• 딥러닝이 광학 데이터를 활용해 OSM 의미 지ap을 정교화하는 계층적 세분화 접근 방식을 적용함으로써 OSM 지ap 품질 향상과 모델 일반화 능력 향상을 도모한다.
• OSM 예측 결과를 사전 정보로 사용하여 다중스펙트럼 CNN의 최종 의미 분할 출력을 보정하거나 정밀화하는 잔차 보정 기법을 적용한다.
• ISPRS Potsdam 및 DFC2017 데이터셋의 참값 레이블을 활용한 지도 학습을 통해 엔드 투 엔드 모델을 훈련시키며, OSM을 보조 입력으로 통합한다.
• 시간적 및 공간적 불일치 문제를 해결하기 위해 데이터 증강 및 공간 정렬 기법을 활용한다.

실험 결과

연구 질문

• RQ1 원격 감지 의미 분할에서 OSM 데이터를 지도 데이터로만 사용하는 것이 아니라, 딥러닝 모델 훈련의 입력 특징으로 효과적으로 활용할 수 있는가?
• RQ2 OSM 래스터를 다중스펙트럼 지구관측 영상에 훈련된 딥 네트워크의 정확도와 수렴 속도에 어떻게 기여하는가?
• RQ3 의미 분할 작업에서 다중스펙트럼 영상과 OSM 데이터를 융합하는 데 가장 효과적인 융합 아키텍처는 무엇인가?
• RQ4 OSM 데이터가 오래되었거나 불완전한 경우 모델의 성능은 어떻게 되며, 다양한 데이터 품질 및 커버리지 조건에서의 견고성은 어떠한가?
• RQ5 특정 클래스(예: 밀도 높은 식생, 고밀도 도시 지역)에 대한 OSM 애너테이션은 분류 성능 향상에 어느 정도 기여하는가?

주요 결과

• OSM 데이터를 딥러닝 모델에 통합함으로써 ISPRS Potsdam 데이터셋에서는 전체 정확도가 2.5% 향상되었고, DFC2017 데이터셋에서는 거의 5% 향상되었다.
• 잔차 보정 프레임워크에서 OSM 레이어를 활용함으로써 ISPRS Potsdam 데이터셋에서 모델 수렴 속도가 25% 향상되었다.
• 도시 클래스(예: 중층 주거 건물)와 밀도 높은 식생에서 가장 뚜렷한 정확도 향상이 관찰되었으며, 이는 OSM 애너테이션이 중요한 의미적 및 공간적 사전 정보를 제공했기 때문이다.
• OSM의 자연 지형 레이어에 잘 표현된 클래스인 '밀도 높은 나무'(클래스 11)와 '낮은 식생'(클래스 14)에 대해서는 OSM 래스터와 다중스펙트럼 데이터의 융합이 특히 효과적이었다.
• OSM와 EO 데이터 간의 경미한 시간적 불일치에도 불구하고 모델은 성능 저하가 거의 없이 견고성을 유지했으며, OSM 데이터가 최대 2년 더 최신일 경우에도 유사한 성능을 보였다.
• OSM 커버리지가 낮은 지역에서도 모델은 성능을 유지했으며, 이는 누락되거나 불완전한 OSM 입력에 대한 내성적 특성을 보여주었다.