[논문 리뷰] Pansharpening via Detail Injection Based Convolutional Neural Networks

Lin He, Yizhou Rao외 3명|arXiv (Cornell University)|2018. 06. 23.

Advanced Image Fusion Techniques참고 문헌 5인용 수 10

한 줄 요약

이 논문은 다중스펙트럴(MS) 세부 정보를 종단 간 주입 방식으로 학습하는 컨볼루션 신경망(DiCNN) 프레임워크를 제안한다. 이는 두 개의 네트워크를 통해 종단 간 방식으로 다중스펙트럴(MS) 세부 정보를 명시적으로 학습한다: DiCNN1은 PAN 및 MS 이미지를 모두 사용하여 MS 세부 정보를 추출하고, DiCNN2는 PAN 이미지에만 의존한다. 이 방법은 빠른 수렴 속도와 뛰어난 전이 학습 능력을 갖추고 있으며, 다양한 데이터셋에서 기존의 CNN 기반 방법보다 스펙트럼 유지성과 공간 정확도 면에서 최신 기술 수준을 넘어서는 품질의 팬샤프닝을 달성한다.

ABSTRACT

Pansharpening aims to fuse a multispectral (MS) image with an associated panchromatic (PAN) image, producing a composite image with the spectral resolution of the former and the spatial resolution of the latter. Traditional pansharpening methods can be ascribed to a unified detail injection context, which views the injected MS details as the integration of PAN details and band-wise injection gains. In this work, we design a detail injection based CNN (DiCNN) framework for pansharpening, with the MS details being directly formulated in end-to-end manners, where the first detail injection based CNN (DiCNN1) mines MS details through the PAN image and the MS image, and the second one (DiCNN2) utilizes only the PAN image. The main advantage of the proposed DiCNNs is that they provide explicit physical interpretations and can achieve fast convergence while achieving high pansharpening quality. Furthermore, the effectiveness of the proposed approaches is also analyzed from a relatively theoretical point of view. Our methods are evaluated via experiments on real-world MS image datasets, achieving excellent performance when compared to other state-of-the-art methods.

연구 동기 및 목표

• 기존의 팬샤프닝 방법에서의 스펙트럼 왜곡과 낮은 수렴 속도 문제를 해결하기 위해, 통합된 세부 정보 주입 프레임워크 내에서 이 작업을 재해석한다.
• 세부 정보 주입의 명시적 물리적 해석을 갖춘 CNN 기반 팬샤프닝 방법을 설계하여 블랙박스 학습을 피한다.
• PAN 및 MS 이미지에서 종단 간으로 직접 MS 세부 정보를 학습함으로써 수렴 속도 향상과 팬샤프닝 품질 향상을 도모한다.
• MS 대역 수가 변할 경우에도 효율적인 전이 학습을 가능하게 하여 학습 시간과 계산 비용을 감소시킨다.
• 실세계 데이터셋에서 최신 기술 수준의 CNN 기반 및 전통적 팬샤프닝 기법들과 비교하여 본 방법의 우수성을 검증한다.

제안 방법

• 이 방법은 팬샤프닝을 세부 정보 주입 문제로 재구성하며, 두 개의 전용 CNN인 DiCNN1과 DiCNN2를 사용해 종단 간 방식으로 MS 세부 정보를 학습한다.
• DiCNN1은 PAN 및 저해상도 다중스펙트럴(LRMS) 이미지를 함께 처리하여 공간 정보와 스펙트럼 정보 간의 상호작용을 모델링한다.
• DiCNN2는 PAN 이미지만을 사용하여 MS 세부 정보를 학습함으로써 복잡성을 감소시키고, 더 빠른 추론 및 미세조정을 가능하게 한다.
• 이 프레임워크는 PAN 세부 정보와 밴드별 주입 이득 간의 물리적 관계를 명시적으로 모델링하여 해석 가능성 향상과 스펙트럼 왜곡 감소를 도모한다.
• 네트워크는 고해상도 다중스펙트럴(HRMS) 이미지의 진실값과의 스펙트럼 및 공간적 이질성 최소화를 위한 손실 함수를 사용해 종단 간으로 훈련된다.
• 사전 훈련 후 최종 완전 연결 계층만을 미세조정함으로써 전이 학습이 가능해지며, 이는 새로운 밴드 구성에 대해 훈련 시간을 크게 단축시킨다.

실험 결과

연구 질문

• RQ1 세부 정보 주입 기반의 CNN 프레임워크가 기존의 CNN 기반 및 전통적 방법보다 더 나은 팬샤프닝 성능을 달성할 수 있는가?
• RQ2 PAN 및 MS 이미지에서 종단 간으로 MS 세부 정보를 학습함으로써 기존 방법과 비교해 수렴 속도 향상과 스펙트럼 왜곡 감소가 이루어지는가?
• RQ3 DiCNN2가 다양한 MS 대역 수에 걸쳐 효율적인 미세조정을 통해 뛰어난 전이 학습 능력을 유지할 수 있는가?
• RQ4 DiCNN에서 세부 정보 주입의 명시적 물리적 모델링 방식이 블랙박스 학습 방식에 비해 해석 가능성과 정확도 면에서 어떻게 비교되는가?
• RQ5 제안된 DiCNN 프레임워크에서 성능, 훈련 시간, 대역 구성 변경에 대한 강건성 간의 상충 관계는 어떠한가?

주요 결과

• DiCNN1은 워싱턴 주의 월드뷰-2 데이터셋에서 Q4(0.9497), SAM(2.8630), ERGAS(2.3080), SCC(0.9407) 점수를 기록하여 PNN, DRPNN 및 DiCNN2를 모두 앞서며 최고 성능을 기록했다.
• DiCNN2는 동일한 데이터셋에서 CNN 기반 방법 중 가장 빠른 훈련 시간(173초)을 기록했으며, 가장 느린 방법인 DRPNN(360초)의 절반 이하였다.
• 3밴드 IKONOS 데이터셋에서 DiCNN2는 Q4(0.8986), SAM(2.0317), SCC(0.9181)에서 최고 성능을 기록하여 PNN 및 DRPNN를 모두 앞섰다.
• DiCNN2는 강력한 전이 학습 능력을 보였으며, 사전 훈련 후 최종 레이어의 미세조정에 단지 10,000회 훈련 반복만으로도 충분히 빠른 학습이 가능했고, 대역 수 변화에 따른 성능 저하가 최소한이었다.
• 시각적 결과에서는 DiCNN1 및 DiCNN2가 PNN 및 DRPNN보다 더 선명한 이미지를 생성했으며, 특히 에지 영역에서 레이저링 아티팩트가 적었다.
• 이 방법은 뛰어난 스펙트럼 유지 성능을 보였으며, 테스트된 모든 데이터셋에서 SAM 값이 3.0° 이하로 유지되어 최소한의 스펙트럼 왜곡을 나타냈다.