[논문 리뷰] Image to Image Translation : Generating maps from satellite images

Vaishali Ingale, Rishabh Singh외 1명|arXiv (Cornell University)|2021. 05. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 8인용 수 7

한 줄 요약

이 논문은 U-Net 아키텍처를 갖춘 조건부 생성 적대 신경망(cGAN)을 제안하여 위성 영상을 인간이 읽을 수 있는 지ap으로 번역하며, 적대적 훈련을 통해 고해상도 출력을 달성한다. 모델은 쌍체의 위성-지도 데이터셋을 사용하며, GAN의 안정성을 위해 배치 정규화와 tanh 활성화 함수를 적용하고, 최소한의 잡음으로 현실적인 지도를 생성하여 자동 지ap 생성의 가능성을 입증한다.

ABSTRACT

Generation of maps from satellite images is conventionally done by a range of tools. Maps became an important part of life whose conversion from satellite images may be a bit expensive but Generative models can pander to this challenge. These models aims at finding the patterns between the input and output image. Image to image translation is employed to convert satellite image to corresponding map. Different techniques for image to image translations like Generative adversarial network, Conditional adversarial networks and Co-Variational Auto encoders are used to generate the corresponding human-readable maps for that region, which takes a satellite image at a given zoom level as its input. We are training our model on Conditional Generative Adversarial Network which comprises of Generator model which which generates fake images while the discriminator tries to classify the image as real or fake and both these models are trained synchronously in adversarial manner where both try to fool each other and result in enhancing model performance.

연구 동기 및 목표

• 위성 영상에서 인간이 읽을 수 있는 지도를 자동 생성하여 높은 비용이 드는 수동 지도 제작 과정에 대한 의존도를 줄이기 위해.
• 자율 주행차, 라이드셰어, 전자상거래 등의 애플리케이션에서 지도 제작의 지연과 비용 문제를 해결하기 위해.
• 특히 조건부 GAN을 포함한 딥 생성 모델을 활용하여 지형 데이터에서의 정확한 이미지 간 번역을 위해.
• 스킵 연결과 GAN 훈련 기법과 같은 아키텍처 혁신을 통해 지도 생성 품질을 향상시키기 위해.
• 미래 연구에서 다중 스펙트럼 대역(예: 적외선, 투과성)을 활용하여 식생 및 수역과 같은 특징 탐지 능력을 향상시키는 잠재적 가능성을 탐색하기 위해.

제안 방법

• 모델은 생성자가 위성 영상을 입력으로 받아 해당되는 지도 영상을 생성하는 조건부 GAN 프레임워크를 사용한다.
• 생성자는 인코더-디코더 블록, 배치 정규화, ReLU 활성화 함수, 대칭 레이어 간의 스킵 연결을 포함한 U-Net 아키텍처를 기반으로 한다.
• 판별자는 패치 기반 GAN 분류기로, 생성된 지도-위성 쌍이 진짜인지 가짜인지 평가하며, 합성곱 레이어와 시그모이드 활성화 함수를 사용한다.
• 훈련은 최소-최대 손실 함수를 사용한다: 판별자는 진짜 및 가짜 영상의 정확한 분류 확률을 최대화하고, 생성자는 가짜 샘플에 대한 판별자의 신뢰도를 최소화한다.
• 핵심 GAN 안정화 기법으로는 [-1, 1] 범위로 이미지 정규화, 생성자의 출력 레이어에서 tanh 사용, 그리고 희소 기울기를 방지하기 위해 ReLU와 최대풀링 방지가 포함된다.
• 모델은 배치 크기가 10인 1,097개의 훈련 이미지와 1,099개의 검증 이미지를 포함한 pix2pix 데이터셋을 다수의 에포크 동안 훈련한다.

실험 결과

연구 질문

• RQ1 U-Net 아키텍처를 갖춘 조건부 GAN은 고해상도로 인간이 읽을 수 있는 지도로 위성 영상을 효과적으로 번역할 수 있는가?
• RQ2 배치 정규화 및 출력 활성화 함수(tanh)와 같은 GAN 훈련 기법은 지도 생성의 안정성과 품질에 어떤 영향을 미치는가?
• RQ3 쌍체의 위성-지도 데이터를 사용할 경우 비지도 학습 방법 대비 번역 정확도가 얼마나 향상되는가?
• RQ4 스킵 연결, 패치 기반 GAN 등 아키텍처 구성 요소 중 어떤 것이 현실적이고 구조적으로 정확한 지도 생성에 가장 기여하는가?
• RQ5 미래에 다중 스펙트럼 대역(예: 적외선)을 활용하면 식생 및 수역과 같은 특징 탐지 능력이 향상될 수 있는가?

주요 결과

• 적대적 훈련을 통해 조건부 GAN 프레임워크를 활용하여 위성 영상에서 현실적이고 인간이 읽을 수 있는 지도를 성공적으로 생성하였다.
• 스킵 연결을 갖춘 U-Net은 생성자가 공간적 세부 정보를 유지하고 일관성 있는 지도 구조를 생성하는 데 기여하였다.
• 이미지 정규화, tanh 출력 활성화 함수, 배치 정규화와 같은 안정화 기법이 훈련 수렴과 출력 품질 향상에 크게 기여하였다.
• 판별자는 진짜와 생성된 지도-위성 쌍을 효과적으로 구분하여 생성자가 점점 더 현실적인 출력을 생성하도록 이끌었다.
• 결과적으로 모델은 시각적으로 타당한 지도 번역을 달성하였으며, 잡음이 최소한이었고, 테스트 세트에 대한 강력한 일반화 능력을 보였다.
• 저자들은 성능을 더 향상시키기 위해 더 긴 훈련 기간과 다중 스펙트럼 영상 대역의 통합을 고려할 수 있음을 언급하였다.