[논문 리뷰] Remote sensing image fusion based on Bayesian GAN

Junfu Chen, Yue Pan외 1명|arXiv (Cornell University)|2020. 09. 20.

Advanced Image Fusion Techniques참고 문헌 33인용 수 6

한 줄 요약

이 논문은 원격 감지 영상의 푸르스냅싱을 위한 전치된 확률적 경사 하강 레이놀즈 동역학을 사용하는 베이지안 생성 대비 신경망인 PGSLD-BGAN을 제안한다. 생성기 파라미터에 대한 베이지안 추론을 통해 사후 샘플링을 수행함으로써 최적의 파라미터를 선택함으로써 융합 품질을 향상시켜 QuickBird 및 WorldView 데이터셋에서 객관적 및 주관적 지표 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Remote sensing image fusion technology (pan-sharpening) is an important means to improve the information capacity of remote sensing images. Inspired by the efficient arameter space posteriori sampling of Bayesian neural networks, in this paper we propose a Bayesian Generative Adversarial Network based on Preconditioned Stochastic Gradient Langevin Dynamics (PGSLD-BGAN) to improve pan-sharpening tasks. Unlike many traditional generative models that consider only one optimal solution (might be locally optimal), the proposed PGSLD-BGAN performs Bayesian inference on the network parameters, and explore the generator posteriori distribution, which assists selecting the appropriate generator parameters. First, we build a two-stream generator network with PAN and MS images as input, which consists of three parts: feature extraction, feature fusion and image reconstruction. Then, we leverage Markov discriminator to enhance the ability of generator to reconstruct the fusion image, so that the result image can retain more details. Finally, introducing Preconditioned Stochastic Gradient Langevin Dynamics policy, we perform Bayesian inference on the generator network. Experiments on QuickBird and WorldView datasets show that the model proposed in this paper can effectively fuse PAN and MS images, and be competitive with even superior to state of the arts in terms of subjective and objective metrics.

연구 동기 및 목표

• 기존의 푸르스냅싱 방법에서 발생하는 스펙트럼 왜곡과 공간 해상도 저하 문제를 GAN 기반 융합에 베이지안 딥 러닝을 통합하여 해결하고자 한다.
• 생성기 파라미터의 불확실성을 모델링하여 딥 러닝 기반의 푸르스냅싱 모델의 강건성과 일반화 능력을 향상시키고자 한다.
• 소실 기울기 문제를 피하고 효과적인 사후 샘플링을 가능하게 하는 안정적인 베이지안 추론 전략을 GAN에 적용하고자 한다.
• 성능 지표에 기반해 사후 샘플 분포에서 최적의 생성기 파라미터를 선택하여 뛰어난 융합 결과를 도출하고자 한다.

제안 방법

• 퍼런티컬러드(PAN) 및 멀티스펙트럼(MS) 영상을 입력으로 받는 이중 스트림 생성기 네트워크를 설계하며, 특징 추출을 위한 별도의 브랜치를 갖추고, 이후 특징 융합 및 영상 재구성 단계를 거친다.
• 실제 고해상도 MS 영상과 생성된 융합 영상을 구분하기 위해 마르코비안 디스criminator를 도입하여 세부 사항 유지 및 현실감 향상을 도모한다.
• 생성기 가중치에 대한 베이지안 추론을 위해 전치된 확률적 경사 하강 레이놀즈 동역학(PGSLD)을 적용하여 파rameter 공간 탐색을 위한 사후 분포에서 샘플링을 수행한다.
• SGHMC 기반 방법에서 흔히 발생하는 소실 기울기 문제를 완화하기 위해 PGSLD 내부에서 RMSProp 기반 최적화기를 사용한다.
• 50개의 사후 샘플 중 상관계수(CC)가 가장 높은 것을 기준으로 최종 생성기 파라미터를 선택하여 최적의 성능을 확보한다.
• 배치 크기가 16이고 학습률이 0.0001인 12,000개의 증강된 이미지 쌍(QuickBird)과 10,000개의 이미지 쌍(WorldView)을 사용해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 베이지안 딥 러닝은 GAN 기반 원격 감지 영상 융합에서 강건성과 불확실성 측정에 기여하는가?
• RQ2 PGSLD를 통한 생성기 파라미터 사후 샘플링은 점추정 훈련보다 일반화 능력과 성능에서 뛰어나게 되는가?
• RQ3 PGSLD 훈련을 통한 베이지안 GAN은 객관적 및 주관적 영상 융합 품질 모두에서 기존 최신 기술 수준의 딥 러닝 모델을 초월하는가?
• RQ4 안정성과 수렴성 측면에서 비-베이지안 GAN 변종에 비해 제안된 방법은 어떻게 비교되는가?

주요 결과

• QuickBird 데이터셋에서 제안된 PGSLD-BGAN 모델은 최고의 CC(0.9899)와 Q4(0.9895)를 기록하여 Pan-GAN 및 ResTFNet을 포함한 모든 기준 모델을 압도한다.
• WorldView 데이터셋에서는 CC가 0.9887, Q4가 0.9875를 기록하여 MSDCNN, PanNet, Pan-GAN보다 뛰어난 성능을 보였다.
• 비-베이지안 변종(PGSLD-BGAN*)조차도 최신 기술 수준의 모델과 맞먹는 성능을 보이며, GAN 아키텍처의 강력함을 시사하지만, 베이지안 샘플링이 성능을 추가로 향상시켰다.
• QuickBird에서는 ERGAS를 3.7154로 감소시켜 전반적인 합성 오차를 낮추고, 정밀도를 향상시켰으며, WorldView에서는 3.7548로 유사한 효과를 보였다.
• SAM 값은 QuickBird에서 3.7078, WorldView에서 3.6103으로 최소화되어 다른 방법들에 비해 스펙트럼 왜곡이 감소한 것으로 나타났다.
• 그림 3 및 그림 4의 시각적 결과는 PGSLD-BGAN이 경계 및 질감 영역에서 경쟁 모델보다 더 나은 세부 사항과 질감을 유지함을 확인한다.