[논문 리뷰] D-SRGAN: DEM Super-Resolution with Generative Adversarial Network

Bekir Zahit Demiray, Muhammed Sit외 1명|arXiv (Cornell University)|2020. 04. 09.

Advanced Image Processing Techniques참고 문헌 44인용 수 4

한 줄 요약

이 논문은 추가 데이터가 필요하지 않은 초해상도 디지털 고도 모델(Digital Elevation Models, DEMs)을 초해상도로 복원하기 위한 딥러닝 기반 생성적 적대적 네트워크인 D-SRGAN을 제안한다. 최대 4배의 공간 해상도 향상을 달성한다. 단일 이미지 초해상도 기법에 영감을 받아, GAN 아키텍처를 활용하여 고주파 고도 세부 정보를 학습함으로써 홍수 모델링 및 지형 분석 응용 분야에서 DEM의 정밀도와 정확도를 크게 향상시킨다.

ABSTRACT

LIDAR (light detection and ranging) is an optical remote-sensing technique that measures the distance between sensor and object, and the reflected energy from the object. Over the years, LIDAR data has been used as the primary source of Digital Elevation Models (DEMs). DEMs have been used in a variety of applications like road extraction, hydrological modeling, flood mapping, and surface analysis. A number of studies in flooding suggest the usage of high-resolution DEMs as inputs in the applications improve the overall reliability and accuracy. Despite the importance of high-resolution DEM, many areas in the United States and the world do not have access to high-resolution DEM due to technological limitations or the cost of the data collection. With recent development in Graphical Processing Units (GPU) and novel algorithms, deep learning techniques have become attractive to researchers for their performance in learning features from high-resolution datasets. Numerous new methods have been proposed such as Generative Adversarial Networks (GANs) to create intelligent models that correct and augment large-scale datasets. In this paper, a GAN based model is developed and evaluated, inspired by single image super-resolution methods, to increase the spatial resolution of a given DEM dataset up to 4 times without additional information related to data.

연구 동기 및 목표

• 비용 및 기술적 제약로 인해 많은 지역에서 고해상도 DEM의 부족 문제를 해결하기 위해.
• 기존 저해상도 DEM의 공간 해상도를 향상시켜 홍수 모델링 및 홍수 지도 제작의 정확도를 높이기 위해.
• 추가 입력 데이터나 사전 고도 정보가 필요 없는 딥러닝 기반 방법을 개발하기 위해.
• 초해상도 과정에서 지형 특징을 어떻게 유지하는지 평가하기 위해.

제안 방법

• 이미지 처리 분야의 단일 이미지 초해상도 기법을 DEM 분야에 적용하기 위해 생성적 적대적 네트워크 아키텍처를 활용한다.
• 저해상도 DEM을 고해상도로 업샘플링하는 생성자 네트워크를 활용하여 세밀한 고도 세부 정보를 예측하도록 학습한다.
• 진짜 고해상도 DEM 패치와 생성된 패치를 구분하기 위해 판별자 네트워크를 사용하여 현실성과 구조적 정확도를 향상시킨다.
• 생성자 네트워크가 신뢰할 수 있는 고해상도 고도 표면을 생성할 수 있도록 적대적 손실을 사용해 GAN을 훈련시킨다.
• 강화된 DEM의 구조적 및 질감 세부 정보를 유지하기 위해 인지적 손실 성분을 적용한다.
• 실제성과 정확성을 균형 잡기 위해 적대적 손실과 재구성 손실의 조합을 사용한다.

실험 결과

연구 질문

• RQ1 추가 데이터 없이 GAN 기반 모델이 저해상도 DEM을 4배로 초해상도로 복원하는 데 효과적인가?
• RQ2 제안된 D-SRGAN이 초해상도 과정에서 산등성, 골짜기, 유역 패턴과 같은 지형 특징을 얼마나 잘 유지하는가?
• RQ3 기본 초해상도 방법과 비교했을 때 DEM 데이터셋에서 정량적 지표(예: PSNR, SSIM)에서 어떤 개선을 보이는가?
• RQ4 향상된 DEM을 사용할 때 실세계 응용 분야, 예를 들어 홍수 지도 제작에서 모델의 성능은 어떠한가?

주요 결과

• D-SRGAN 모델은 추가 데이터나 사전 고도 정보 없이도 DEM의 공간 해상도를 최대 4배로 높이는 데 성공한다.
• 모델은 초해상도된 DEM의 시각적 품질과 구조적 정확도를 향상시켜 중요한 지형 특징을 잘 유지함을 보여준다.
• 정량적 평가 결과, 기존 방법과 비교해 PSNR 및 SSIM 지표에서 뚜렷한 향상을 보이며 더 높은 재구성 정확도와 시각적 현실감을 나타낸다.
• D-SRGAN이 생성한 향상된 DEM은 홍수 모델링 및 홍수 지도 제작과 같은 후속 응용 분야에서 성능 향상을 보였다.