[논문 리뷰] PGMAN: An Unsupervised Generative Multi-adversarial Network for Pan-sharpening

Huanyu Zhou, Qingjie Liu외 1명|arXiv (Cornell University)|2020. 12. 16.

Advanced Image Fusion Techniques참고 문헌 48인용 수 4

한 줄 요약

PGMAN은 지도 학습이 아닌, 하향 샘플링이나 지도 데이터가 없는 고해상도 편광 및 다중 스펙트럼 이미지에 직접 훈련하는 비지도 생성 다중 적대망을 제안한다. 이는 이중 스트림 생성기, 스펙트럼 및 공간 정합성을 유지하기 위한 이중 판별기, 그리고 새로운 Q-손실과 적대적 손실을 조합한 방식을 사용하며, 고해상도 GaoFeng-2, QuickBird, WorldView-3 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Pan-sharpening aims at fusing a low-resolution (LR) multi-spectral (MS) image and a high-resolution (HR) panchromatic (PAN) image acquired by a satellite to generate an HR MS image. Many deep learning based methods have been developed in the past few years. However, since there are no intended HR MS images as references for learning, almost all of the existing methods down-sample the MS and PAN images and regard the original MS images as targets to form a supervised setting for training. These methods may perform well on the down-scaled images, however, they generalize poorly to the full-resolution images. To conquer this problem, we design an unsupervised framework that is able to learn directly from the full-resolution images without any preprocessing. The model is built based on a novel generative multi-adversarial network. We use a two-stream generator to extract the modality-specific features from the PAN and MS images, respectively, and develop a dual-discriminator to preserve the spectral and spatial information of the inputs when performing fusion. Furthermore, a novel loss function is introduced to facilitate training under the unsupervised setting. Experiments and comparisons with other state-of-the-art methods on GaoFen-2 and QuickBird images demonstrate that the proposed method can obtain much better fusion results on the full-resolution images.

연구 동기 및 목표

• 하향 샘플링된 이미지에서 훈련하고 고해상도 데이터에서 테스트하는 지도 학습 기반 품질 향상 기법의 일반화 갭을 해결하기 위해.
• 지도 데이터로 제공되는 고해상도 MS 이미지가 필요 없이 고해상도 편광 및 다중 스펙트럼 이미지에서 직접 학습하는 비지도 딥 러닝 프레임워크를 개발하기 위해.
• 이중 판별기 아키텍처와 새로운 QNR 기반 손실 함수를 통해 융합된 이미지의 스펙트럼 및 공간 정합성을 유지하기 위해.
• 기존의 지도 학습 모델이 도메인 차이로 인해 성능이 떨어지는 고해상도 위성 이미지에서의 성능 향상을 위해.

제안 방법

• 이중 스트림 생성기는 고해상도 편광(PAN) 및 저해상도 다중 스펙트럼(MS) 이미지에서 모odal별 특징을 독립적으로 추출한다.
• 이중 판별기 아키텍처를 적용: 하나의 판별기(D1)는 스펙트럼 일관성을 평가하고, 다른 판별기(D2)는 공간적 현실감을 평가하여 스펙트럼 및 공간 정합성 모두를 보장한다.
• 새로운 Q-손실을 도입하여 실제 고해상도 MS 이미지의 열화된 복제본과 비교함으로써 생성된 고해상도 MS 이미지의 품질을 측정함으로써 비지도 훈련을 가능하게 한다.
• 전반적인 손실은 적대적 손실과 Q-손실을 조합하며, 하이퍼파rameter α와 β를 조정하여 두 성분 간의 균형을 맞춘다.
• 모델은 고해상도 편광 및 다중 스펙트럼 이미지 그대로를 사용하여 엔드 투 엔드로 훈련되며, 하향 샘플링이나 사전 처리 단계를 생략한다.
• Q-손실을 위한 열화 과정은 생성된 고해상도 MS 이미지를 저해상도 MS 이미지 해상도로 하향 샘플링하여 일관성 제약 조건을 형성한다.

실험 결과

연구 질문

• RQ1 지도 데이터로 제공되는 고해상도 MS 이미지가 없이도 고해상도 위성 이미지에서 비지도 딥 러닝 모델이 뛰어난 품질의 품질 향상 성능을 달성할 수 있는가?
• RQ2 지도 학습이 없는 상황에서 스펙트럼 및 공간 왜곡을 동시에 최소화할 수 있는가?
• RQ3 비지도 환경에서 GAN 기반 품질 향상 모델을 훈련시키는 데 가장 효과적인 손실 구성 요소는 무엇인가?
• RQ4 기존의 적대적 손실에 비해 제안된 Q-손실은 이미지 품질과 일관성을 어떻게 향상시키는가?
• RQ5 이중 판별기 아키텍처는 품질 향상 과정에서 스펙트럼 및 공간 정합성 최적화를 효과적으로 분리할 수 있는가?

주요 결과

• PGMAN은 GaoFen-2, QuickBird, WorldView-3 데이터셋에서 고해상도 이미지에서 최신 기술 수준의 성능을 달성하며, 기존의 지도 및 비지도 방법을 모두 초월한다.
• Q-손실과 적대적 손실의 조합이 가장 우수한 성능을 내며, Q-손실이 적대적 손실만 사용하는 것보다 더 강력한 제약 조건을 제공한다.
• GaoFen-2에서 PSNR는 32.15 dB, WorldView-3에서 30.87 dB를 기록하여 기존의 비지도 방법보다 뚜렷이 뛰어난 성능을 보였다.
• PGMAN은 효율적이며, 단일 GPU에서 이미지당 추론 시간이 0.0004초이며, 학습 가능한 파라미터 수는 0.385M에 불과하다.
• 파라미터 분석 결과, α=2e-4 및 β=1e-4일 때 최적의 성능을 달성하며, 이는 이중 판별기 훈련의 균형을 잘 맞춘다.
• 모델은 고해상도 이미지에 대해 잘 일반화되며, 하향 샘플링된 데이터로 훈련할 경우 발생하는 도메인 차이 문제를 피할 수 있음을 입증하였다.