[논문 리뷰] GAN-Based Object Removal in High-Resolution Satellite Images

Hadi Mansourifar, Steven J. Simske|arXiv (Cornell University)|2023. 01. 24.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 희소한 픽셀 단위의 세그먼테이션 특징 이미지(SFI) 대신 Canny 특징 이미지(CFI)를 사용하여 고해상도 위성 영상에서 객체 제거를 위한 일회성 조건부 GAN(CGAN)-기반 방법을 제안한다. 이 방법은 CFI를 입력으로 사용해 Pix2pixHD 모델을 훈련시켜 현실적이고 자연스러운 객체 제거 결과를 생성하며, 이로 인해 생성된 위조 영상은 최신 검출 모델과 새로운 벤치마크 데이터셋(위조 영상 162장, 그대로의 영상 266장)을 통해 실제 영상과 거의 구분되지 않을 정도로 높은 정교함을 보였다.

ABSTRACT

Satellite images often contain a significant level of sensitive data compared to ground-view images. That is why satellite images are more likely to be intentionally manipulated to hide specific objects and structures. GAN-based approaches have been employed to create forged images with two major problems: (i) adding a new object to the scene to hide a specific object or region may create unrealistic merging with surrounding areas; and (ii) using masks on color feature images has proven to be unsuccessful in GAN-based object removal. In this paper, we tackle the problem of object removal in high-resolution satellite images given a limited number of training data. Furthermore, we take advantage of conditional GANs (CGANs) to collect perhaps the first GAN-based forged satellite image data set. All forged instances were manipulated via CGANs trained by Canny Feature Images for object removal. As part of our experiments, we demonstrate that distinguishing the collected forged images from authentic (original) images is highly challenging for fake image detector models.

연구 동기 및 목표

• 제한된 훈련 데이터를 바탕으로 고해상도 위성 영상에서 객체 제거 문제를 해결한다.
• 위성 데이터셋에서 희귀한 픽셀 단위의 세그먼테이션 특징 이미지(SFI) 부족 문제를 해결하기 위해 Canny 특징 이미지(CFI)를 대체 조건으로 사용한다.
• 장면의 의미 정보를 유지하고 시각적 열화를 최소화하면서도 현실적인 위조 위성 영상을 생성할 수 있는 강력한 일회성 GAN 기반 방법을 개발한다.
• 향후 위조 검출 연구를 위해 162장의 위조 영상과 266장의 원본 영상으로 구성된 새로운 데이터셋을 제작하고 공개한다.
• CFI 기반으로 생성된 위조 영상이 기존의 이진 분류기와 전이 학습 모델로도 매우 어렵게 검출됨을 입증한다.

제안 방법

• 제한된 데이터로 일회성 훈련을 가능하게 하기 위해 고해상도 위성 영상을 256×256 패치로 분할한다.
• 객체 제거를 위해 Canny 특징 이미지(CFI)를 조건 입력으로 사용하여 Pix2pixHD 기반 조건부 GAN(CGAN)을 훈련시킨다.
• 희귀한 픽셀 단위의 세그먼테이션 특징 이미지(SFI) 대신 CFI를 활용하여 에지 정보를 기반으로 현실적인 이미지 합성을 유도한다.
• 이미지 유사도 지표(MSE, PSNR, SSIM)와 AWS Rekognition 기반 객체 검출 성능을 사용해 이미지 품질을 평가한다.
• 이진 분류기 훈련 및 MobileNetV2의 미세조정을 통해 생성된 영상의 검출 가능성을 평가한다.
• ResNet50 임bedded 특징에 대해 t-SNE 시각화를 수행하여 위조 영상과 실제 영상 간의 분포 차이를 분석한다.

실험 결과

연구 질문

• RQ1 CFI는 고해상도 위성 영상에서 CGAN 기반 객체 제거에 있어 픽셀 단위의 세그먼테이션 특징 이미지(SFI)를 효과적으로 대체할 수 있는가?
• RQ2 CFI 기반 객체 제거의 품질은 SFI 대비 이미지 유사도 및 객체 검출 성능 측면에서 어떻게 비교되는가?
• RQ3 최신 이진 분류기와 전이 학습 모델이 얼마나 잘 위조된 GAN 기반 위성 영상을 검출할 수 있는가?
• RQ4 일회성 GAN 훈련 프레임워크는 제한된 훈련 데이터로도 고해상도 위성 영상에서 현실적이고 자연스러운 객체 제거를 성공적으로 생성할 수 있는가?
• RQ5 SFI 애너테이션의 부재가 CGAN 기반 객체 제거 성능에 심각한 영향을 미치는가? 그리고 CFI는 이러한 제약을 완화시킬 수 있는가?

주요 결과

• CFI는 이미지 유사도 지표 4개 중 3개에서 SFI를 능가했으며, 평균적으로 더 낮은 MSE(0.129 vs. 0.137)와 더 높은 PSNR(32.95 vs. 32.69)를 기록했다.
• SSIM 점수는 CFI가 구조적 보존 측면에서 뛰어난 것으로 나타났다(평균 0.844 vs. 0.901), 대부분의 경우 더 높은 시각적 정밀도를 보였다.
• AWS Rekognition 기반 객체 검출 성능 평가에서 CFI는 항공기 탐지율 99.3%, 비행기 탐지율 99.2%를 유지했고, SFI는 도착지 및 차량 탐지에서 약간의 감소를 보였다.
• 이진 분류기 및 전이 학습 모델은 위조 영상과 실제 영상을 구분하지 못했으며, AUC-ROC 곡선에서 뚜렷한 분리가 없었다(Figure 8), 생성된 영상의 높은 현실성과 일치했다.
• t-SNE 시각화 결과, 위조 영상과 실제 영상이 특징 공간에서 매우 가까이 분포해 있어 검출의 어려움을 뒷받침했다.
• 제안된 방법은 162장의 위조 영상과 266장의 원본 영상으로 구성된 새로운 데이터셋을 성공적으로 생성하였으며, 향후 위조 검출 연구를 위해 공개되었다.