[논문 리뷰] Panchromatic and Multispectral Image Fusion via Alternating Reverse Filtering Network

Keyu Yan, Man Zhou외 5명|arXiv (Cornell University)|2022. 10. 15.

Advanced Image Fusion Techniques인용 수 8

한 줄 요약

이 논문은 다중스펙트럼 및 펜크로매틱 영상 융합을 위한 교차 역필터링 네트워크를 제안하며, 사전 정의된 사전 지식에 의존하지 않고 패닉 샤피닝을 해석 가능한 반복적 역필터링 과정으로 공식화한다. 수렴성을 보장하기 위해 학습 가능한 다중 척도 가우시안 커널 모듈을 도입함으로써, 시뮬레이션 및 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하며 PSNR, SSIM 및 스펙트럼 정밀도 지표에서 기존 방법들을 능가한다.

ABSTRACT

Panchromatic (PAN) and multi-spectral (MS) image fusion, named Pan-sharpening, refers to super-resolve the low-resolution (LR) multi-spectral (MS) images in the spatial domain to generate the expected high-resolution (HR) MS images, conditioning on the corresponding high-resolution PAN images. In this paper, we present a simple yet effective extit{alternating reverse filtering network} for pan-sharpening. Inspired by the classical reverse filtering that reverses images to the status before filtering, we formulate pan-sharpening as an alternately iterative reverse filtering process, which fuses LR MS and HR MS in an interpretable manner. Different from existing model-driven methods that require well-designed priors and degradation assumptions, the reverse filtering process avoids the dependency on pre-defined exact priors. To guarantee the stability and convergence of the iterative process via contraction mapping on a metric space, we develop the learnable multi-scale Gaussian kernel module, instead of using specific filters. We demonstrate the theoretical feasibility of such formulations. Extensive experiments on diverse scenes to thoroughly verify the performance of our method, significantly outperforming the state of the arts.

연구 동기 및 목표

• 엄격한 열화 가정과 사전 정의된 사전 지식에 의존하는 전통적 패닉 샤피닝 방법의 한계를 해결하기 위해.
• 수작업으로 정의된 사전 지식에 의존하지 않는 해석 가능한 딥 러닝 기반 융합 프레임워크를 개발하기 위해.
• 학습 가능한 다중 척도 가우시안 커널 모듈을 통해 반복적 융합 과정의 수렴성과 안정성을 보장하기 위해.
• 시뮬레이션 및 실세계 패닉 샤피닝 벤치마크에서 기존 최신 기술 수준의 방법들을 능가하기 위해.

제안 방법

• 고해상도 다중스펙트럼 영상을 복원하기 위해 고전적 역필터링에 영감을 받아 패닉 샤피닝을 교차 반복적 역필터링 과정으로 공식화한다.
• 역필터링 과정을 딥 네트워크 아키텍처로 전개하여 명시적 사전 가정 없이 엔드 투 엔드 학습을 가능하게 한다.
• 고정 필터를 대체하기 위해 학습 가능한 다중 척도 가우시안 커널 모듈을 도입하여 메트릭 공간에서 수축 사상에 의해 수렴성을 보장한다.
• 메트릭 공간 기반 최적화 프레임워크를 사용하여 반복 과정의 안정성과 수렴성을 보장한다.
• 저해상도 다중스펙트럼 및 고해상도 다중스펙트럼 추정치 간에 교차 업데이트를 수행하는 다단계 네트워크를 설계한다.
• 학습 및 평가에 시뮬레이션 및 실세계 데이터셋을 모두 활용하며, 커널 크기와 반복 수에 대한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 사전 정의된 열화 모델이나 사전 지식에 의존하지 않고 패닉 샤피닝을 효과적으로 반복적 역필터링 과정으로 공식화할 수 있는가?
• RQ2 이미지 융합을 위한 반복적 딥 러닝 프레임워크에서 수렴성과 안정성을 어떻게 확보할 수 있는가?
• RQ3 이론적 수렴성을 유지하면서도 높은 성능을 달성할 수 있는 최적의 학습 가능한 필터 모듈 설계는 무엇인가?
• RQ4 제안된 방법은 스펙트럼 및 공간 정밀도 측면에서 최신 기술 수준의 방법들과 비교해 어떻게 성능를 발휘하는가?
• RQ5 커널 크기와 반복 수가 최종 융합 품질에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 WorldView-II 데이터셋에서 PSNR 41.7587을 달성하여 이전 최신 기술 수준의 방법들을 크게 능가한다.
• SSIM은 0.9691로 향상되고 SAM은 0.0229로 감소하여 구조적 및 스펙트럼 보존 측면에서 뛰어난 성능을 보인다.
• 분석 연구 결과, 최대 커널 크기 M을 1에서 17으로 증가시킬 경우 PSNR가 39.7820에서 41.7587로 향상되어 다중 척도 커널 설계의 효과를 입증한다.
• 최적의 반복 수 K는 5로 확인되었으며, 성능와 계산 비용 간의 균형을 잘 맞춘다.
• 학습된 커널은 무작위 및 가우시안 초기화 커널보다 우수한 성능을 보이며, 필터 파rameter의 엔드 투 엔드 최적화의 유용성을 확인한다.
• WorldView-II 데이터셋에서 QNR는 0.8285를 기록하여 강력한 종합적 영상 품질과 정밀도를 나타낸다.