[논문 리뷰] Remote Sensing Image Fusion Based on Two-stream Fusion Network

Xiangyu Liu, Qingjie Liu외 1명|arXiv (Cornell University)|2017. 11. 07.

Advanced Image Fusion Techniques참고 문헌 5인용 수 9

한 줄 요약

이 논문은 원격 감지 영상 융합을 위한 이중 스트림 융합 네트워크(TFNet)를 제안하며, CNN 기반 인코더-디코더 아키텍처를 사용하여 퍼지컬러(PAN) 및 다중 스펙트럼(MS) 영상을 특징 수준에서 융합함으로써 퍼지컬러링을 수행한다. 이 방법은 ℓ₁ 손실과 잔차 학습을 사용하여 상태의 기술(SOTA) 성능을 달성하며, QuickBird 및 GaoFeng-1 데이터셋에서 스펙트럼 왜곡을 크게 줄이고 공간 세부 정보 보존을 향상시킨다.

ABSTRACT

Remote sensing image fusion (also known as pan-sharpening) aims at generating high resolution multi-spectral (MS) image from inputs of a high spatial resolution single band panchromatic (PAN) image and a low spatial resolution multi-spectral image. Inspired by the astounding achievements of convolutional neural networks (CNNs) in a variety of computer vision tasks, in this paper, we propose a two-stream fusion network (TFNet) to address the problem of pan-sharpening. Unlike previous CNN based methods that consider pan-sharpening as a super resolution problem and perform pan-sharpening in pixel level, the proposed TFNet aims to fuse PAN and MS images in feature level and reconstruct the pan-sharpened image from the fused features. The TFNet mainly consists of three parts. The first part is comprised of two networks extracting features from PAN and MS images, respectively. The subsequent network fuses them together to form compact features that represent both spatial and spectral information of PAN and MS images, simultaneously. Finally, the desired high spatial resolution MS image is recovered from the fused features through an image reconstruction network. Experiments on Quickbird and \mbox{GaoFen-1} satellite images demonstrate that the proposed TFNet can fuse PAN and MS images, effectively, and produce pan-sharpened images competitive with even superior to state of the arts.

연구 동기 및 목표

• 초상수준 퍼지컬러링 기반의 슈퍼해상도 파라다임에 의존하는 기존 방법의 한계를 해결하기 위해.
• 픽셀 수준이 아닌 특징 수준에서 PAN 및 MS 영상을 융합하여 퍼지컬러링 성능을 향상시키기 위해.
• 스펙트럼 왜곡을 줄이고 공간 세부 정보를 향상시키는 데 있어 ℓ₁ 손실과 잔차 학습의 효과를 탐구하기 위해.
• 스펙트럼 및 공간 정보 보존을 향상시켜 고품질 퍼지컬러링을 위한 융통성 있고 종단 간(end-to-end) 딥 러닝 프레임워크를 개발하기 위해.

제안 방법

• 이 방법은 PAN 및 MS 영상의 계층적 특징을 추출하기 위해 별도의 인코더를 갖춘 이중 스트림 CNN 아키텍처를 사용한다.
• PAN 및 MS 스트림의 특징은 공유된 융합 네트워크에서 융합되어 공간적 및 스펙트럼적 내용의 압축된 공동 표현을 생성한다.
• 디코더 네트워크는 전치 합성곱을 사용하여 융합된 특징에서 고해상도 다중 스펙트럼 영상을 재구성한다.
• 네트워크는 ℓ₁ 손실 함수로 훈련되며, 재구성 아티팩트를 줄이는 데 있어 표준 ℓ₂ 손실보다 우수한 성능을 보임을 입증하였다.
• 특징 학습을 안정화하고 특히 깊은 아키텍처에서 성능을 향상시키기 위해 잔차 학습 블록이 네트워크에 통합되었다.
• 프레임워크는 종단 간 훈련이 가능하며, 적응형 학습률을 사용한 확률적 경사 하강법으로 최적화된다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 네트워크 아키텍처에서 특징 수준 융합이 픽셀 수준 슈퍼해상도 기반 퍼지컬러링 방법보다 우수한 성능을 낼 수 있는가?
• RQ2 ℓ₂ 손실 대신 ℓ₁ 손실을 사용할 경우 스펙트럼 충실도 및 공간 세부 정보 측면에서 향상된 퍼지컬러드 영상 품질을 달성할 수 있는가?
• RQ3 잔차 학습이 원격 감지 영상 융합에서 이중 스트림 융합 네트워크의 성능 향상에 얼마나 기여하는가?
• RQ4 실제 위성 데이터에서 SAM, CC, ERGAS 등의 정량적 지표 측면에서 제안된 방법은 최신 기술(SOTA) 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 TFNet는 ℓ₁ 손실을 사용하여 QuickBird 및 GaoFen-1 데이터셋에서 모든 지표에서 최고 성능을 기록하였으며, SAM은 4.6811, ERGAS는 3.9117을 기록하였다.
• ResTFNet-ℓ₁ 버전은 성능을 추가로 향상시켜 SAM은 4.5149, ERGAS는 3.6931를 기록하였으며, 이는 스펙트럼 왜곡 감소를 의미한다.
• 시각적 분석을 통해 제안된 방법이 미세한 공간 세부 정보를 보존하고 색상 아티팩트를 최소화함으로써 IHS, ATWT_M3 및 PNN보다 뛰어난 시각적 품질을 확보하였다.
• 기존의 방법들인 AWLP 및 BDSD와 비교해 블러링과 스펙트럼 왜곡을 크게 줄였으며, 여전히 일부 아티팩트를 보이는 경향이 있었다.
• ℓ₁ 손실 사용 시 ℓ₂ 손실 대비 더 선명한 에지와 고주파 성분의 더 나은 재구성을 가능하게 하였다.
• 잔차 학습은 특히 미세한 스펙트럼 변동을 보존하는 데 있어 더 안정적인 훈련과 향상된 성능을 기여하였다.