[논문 리뷰] A Multi-Scale and Multi-Depth Convolutional Neural Network for Remote Sensing Imagery Pan-Sharpening

Qiangqiang Yuan, Yancong Wei외 3명|arXiv (Cornell University)|2017. 12. 28.

Advanced Image Fusion Techniques참고 문헌 4인용 수 12

한 줄 요약

이 논문은 다중 해상도 및 다중 깊이 컨볼루션 신경망(MSDCNN)을 제안하여 원격 감지 패닉로메트릭 샤프닝을 수행한다. 다중 척도 특징 추출과 잔차 학습을 활용하여 편광 이미지 데이터를 이용해 다중 스펙트럼 영상의 공간 해상도를 향상시킨다. 제안된 방법은 기준 데이터셋에서 정량적 지표와 시각적 품질 측면에서 최신 기술보다 뛰어난 성능을 달성한다.

ABSTRACT

Pan-sharpening is a fundamental and significant task in the field of remote sensing imagery processing, in which high-resolution spatial details from panchromatic images are employed to enhance the spatial resolution of multi-spectral (MS) images. As the transformation from low spatial resolution MS image to high-resolution MS image is complex and highly non-linear, inspired by the powerful representation for non-linear relationships of deep neural networks, we introduce multi-scale feature extraction and residual learning into the basic convolutional neural network (CNN) architecture and propose the multi-scale and multi-depth convolutional neural network (MSDCNN) for the pan-sharpening of remote sensing imagery. Both the quantitative assessment results and the visual assessment confirm that the proposed network yields high-resolution MS images that are superior to the images produced by the compared state-of-the-art methods.

연구 동기 및 목표

• 원격 감지 영상의 샤프닝에서 요구되는 복잡한 비선형 변환을 해결하기 위해.
• 고해상도 편광 이미지와 융합하여 다중 스펙트럼 영상의 정밀도와 공간 해상도를 향상시키기 위해.
• 다양한 척도의 공간 특징을 효과적으로 캐치하고 잔차 매핑을 학습하여 복원 성능을 향상시키는 딥 러닝 아키텍처를 개발하기 위해.
• 정량적 및 정성적 샤프닝 성능 측면에서 기존 최신 기술을 뛰어넘기 위해.

제안 방법

• 제안된 MSDCNN는 다양한 수용장치를 가진 공간 세부 정보를 캐치하기 위해 다중 척도 특징 추출을 통합한다.
• 학습 안정성 향상과 기울기 흐름 개선을 위해 네트워크 아키텍처에 잔차 학습을 통합한다.
• 계층적인 특징을 여러 층에서 모델링하기 위해 스택된 컨볼루션 블록을 사용하는 다중 깊이 설계를 채택한다.
• 저수준 특징을 유지하고 종단 간 학습을 촉진하기 위해 스킵 연결 메커니즘을 사용한다.
• 예측된 고해상도 다중 스펙트럼 영상와 진짜 고해상도 다중 스펙트럼 영상 간 복원 오차를 최소화하는 손실 함수를 사용하여 종단 간 학습을 수행한다.
• 입력으로 저해상도 다중 스펙트럼 영상과 고해상도 편광 영상이 포함된 패닉로메트릭 샤프닝 작업에 특화된 아키텍처이다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 신경망은 저해상도 다중 스펙트럼 영상과 고해상도 다중 스펙트럼 영상 간의 비선형 매핑을 효과적으로 모델링할 수 있는가?
• RQ2 다중 척도 특징 추출은 샤프닝된 영상에서 공간 세부 정보의 표현을 어떻게 향상시키는가?
• RQ3 잔차 학습은 원격 감지 패닉로메트릭 샤프닝 맥락에서 학습 안정성과 복원 정확도 향상에 얼마나 기여하는가?
• RQ4 제안된 다중 깊이 아키텍처는 기존 얕은 또는 단일 척도 CNN보다 샤프닝 작업에서 더 나은 성능을 내는가?

주요 결과

• 제안된 MSDCNN는 기준 데이터셋에서 기존 최신 기술보다 PSNR 및 SAM 지표에서 뛰어난 정량적 성능을 달성한다.
• 시각적 평가 결과, 재구성된 다중 스펙트럼 영상가 스펙트럼 충실도를 유지하면서 공간 세부 정보를 향상시키는 것으로 확인되었다.
• 다중 척도 및 다중 깊이 설계 덕분에 단일 척도 접근 방식보다 더 정교한 질감과 구조적 특징을 효과적으로 캐치할 수 있었다.
• 잔차 학습은 학습 수렴 속도와 최종 복원 품질을 크게 향상시켜 출력 영상의 잡음 요소를 줄였다.
• 다양한 원격 감지 환경 및 센서 구성에 걸쳐 뛰어난 강인성을 보였다.