[논문 리뷰] GeoGAN: A Conditional GAN with Reconstruction and Style Loss to Generate Standard Layer of Maps from Satellite Images

Swetava Ganguli, Pedro Javier Rojas Garzón외 1명|arXiv (Cornell University)|2019. 02. 14.

Advanced Image and Video Retrieval Techniques인용 수 28

한 줄 요약

GeoGAN은 재구성 손실과 스타일 손실을 갖춘 조건부 GAN을 제안하여 위성 영상을 표준 지ap 지도 층으로 변환하며, 딥 컨volution 래너와 판별자로 고해상도이고 인간이 읽을 수 있는 지도를 생성한다. 이 모델은 적대적, 지각적, 재구성 손실을 결합하여 표준 GAN보다 뛰어난 성능을 보이며, 10m 해상도에서도 사실적인 지도 출력을 얻는다.

ABSTRACT

Automatically generating maps from satellite images is an important task. There is a body of literature which tries to address this challenge. We created a more expansive survey of the task by experimenting with different models and adding new loss functions to improve results. We created a database of pairs of satellite images and the corresponding map of the area. Our model translates the satellite image to the corresponding standard layer map image using three main model architectures: (i) a conditional Generative Adversarial Network (GAN) which compresses the images down to a learned embedding, (ii) a generator which is trained as a normalizing flow (RealNVP) model, and (iii) a conditional GAN where the generator translates via a series of convolutions to the standard layer of a map and the discriminator input is the concatenation of the real/generated map and the satellite image. Model (iii) was by far the most promising of three models. To improve the results we also added a reconstruction loss and style transfer loss in addition to the GAN losses. The third model architecture produced the best quality of sampled images. In contrast to the other generative model where evaluation of the model is a challenging problem. since we have access to the real map for a given satellite image, we are able to assign a quantitative metric to the quality of the generated images in addition to inspecting them visually. While we are continuing to work on increasing the accuracy of the model, one challenge has been the coarse resolution of the data which upper-bounds the quality of the results of our model. Nevertheless, as will be seen in the results, the generated map is more accurate in the features it produces since the generator architecture demands a pixel-wise image translation/pixel-wise coloring. A video presentation summarizing this paper is available at: https://youtu.be/Ur0flOX-Ji0

연구 동기 및 목표

• 위성 영상에서 표준 지도 층을 자동 생성하여 수동 지ap 작성의 비용과 지연을 줄이기 위해.
• 재구성 및 스타일 전이 손실을 조건부 GAN 아키텍처에 통합하여 지도 생성 품질을 향상시키기 위해.
• 쌍체의 위성-지도 데이터셋을 활용하여 지도 생성의 정량적 평가를 가능하게 하기 위해.
• Google Earth Engine와 Google Maps API로부터 다중 스펙트럼 지공간 데이터를 수집하는 확장 가능한 파이프라인을 개발하기 위해.

제안 방법

• 생성자는 위성 영상을 지도 유사 출력으로 변환하기 위해 컨volution 레이어의 스택을 사용하는 조건부 GAN 아키텍처를 사용한다.
• 판별자는 위성 영상과 생성/실제 지도의 연결된 입력을 사용하여 생성된 지도의 현실성 여부를 평가한다.
• 생성된 지도와 진짜 지도 간의 픽셀 단위 유사성을 강제하기 위해 재구성 손실이 적용된다.
• 특징 맵의 그램 행렬을 일치시켜 목표 지도의 시각적 스타일(예: Google Maps 스타일)을 유지하기 위해 스타일 손실이 사용된다.
• 모델은 적대적 손실, 재구성 손실, 스타일 손실을 사용하여 엔드 투 엔드로 훈련되며, 인코더나 정규화 플로우 구성 요소가 포함되어 있지 않다.
• Google Earth Engine와 Google Maps API로부터 훈련을 위한 정렬된 위성-지도 쌍을 추출하는 데이터 파이프라인을 구현했다.

실험 결과

연구 질문

• RQ1 재구성 및 스타일 손실을 갖춘 조건부 GAN은 위성 영상에서 고품질의 사실적인 지도 층을 생성할 수 있는가?
• RQ2 재구성 및 스타일 손실의 포함 여부가 표준 GAN에 비해 지도의 정확성에 어떤 영향을 미치는가?
• RQ3 해상도(예: 10m 대비 더 높은 해상도)가 생성된 지도의 품질에 어떤 영향을 미치는가?
• RQ4 적대적, 재구성, 스타일 손실을 조합한 하이브리드 손실 함수가 단지 적대적 손실만 사용하는 모델보다 우수한 성능을 낼 수 있는가?
• RQ5 구름이 거의 없는 실제 고해상도 위성 데이터를 기반으로 GAN 기반 지도 생성기를 훈련시키는 것은 가능한가?

주요 결과

• 재구성 및 스타일 손실을 갖춘 조건부 GAN은 인코더나 RealNVP 기반 생성자를 사용하는 모델보다 가장 높은 품질의 지도 번역을 달성했다.
• 모델은 15 에포크 내에 안정적인 훈련과 수렴을 보였으며, 10m 해상도에서도 시각적으로 현실적인 출력을 생성했다.
• 재구성 및 스타일 손실은 표준 GAN에 비해 지각적 품질을 크게 향상시키고 아티팩트를 감소시켰다.
• RealNVP 기반 생성자는 훈련 목표의 불일치와 가능도 기반 최적화의 부재로 인해 모드 붕괴와 수치적 불안정성에 시달렸다.
• 모델은 CycleGAN 데이터셋에서 가장 우수한 성능을 보였는데, 이는 더 높은 해상도와 덜한 구름 커버 문제로 인해 데이터 품질이 핵심 제약 요소임을 시사한다.
• 저자들은 Google Earth Engine로부터 다중 밴드 지공간 데이터(적외선 포함)를 추출하는 파이프라인을 성공적으로 구축하여 향후 모델 향상에 기여했다.