[논문 리뷰] MRFusion: A Deep Learning architecture to fuse PAN and MS imagery for land cover mapping

Raffaele Gaetano, Dino Ienco외 2명|arXiv (Cornell University)|2018. 06. 29.

Advanced Image Fusion Techniques인용 수 5

한 줄 요약

MRFusion는 사전 패널샤프닝 또는 리샘플링 없이 원본 해상도의 패널라식(PAN) 및 다중스펙트럼(MS) 영상에서 직접 지형을 분류하는 새로운 딥러닝 아키텍처를 제안한다. 종합적인 공간 및 스펙트럼 특징을 두 개의 브랜치로 구성된 CNN 프레임워크를 통해 엔드 투 엔드로 퓨전함으로써, 특히 수자원, 도시 지역 및 산림과 같은 어려운 클래스를 구분하는 데 있어 기존 방법에 비해 뛰어난 분류 정확도와 더 적은 아티팩트를 달성한다.

ABSTRACT

Nowadays, Earth Observation systems provide a multitude of heterogeneous remote sensing data. How to manage such richness leveraging its complementarity is a crucial chal- lenge in modern remote sensing analysis. Data Fusion techniques deal with this point proposing method to combine and exploit complementarity among the different data sensors. Considering optical Very High Spatial Resolution (VHSR) images, satellites obtain both Multi Spectral (MS) and panchro- matic (PAN) images at different spatial resolution. VHSR images are extensively exploited to produce land cover maps to deal with agricultural, ecological, and socioeconomic issues as well as assessing ecosystem status, monitoring biodiversity and provid- ing inputs to conceive food risk monitoring systems. Common techniques to produce land cover maps from such VHSR images typically opt for a prior pansharpening of the multi-resolution source for a full resolution processing. Here, we propose a new deep learning architecture to jointly use PAN and MS imagery for a direct classification without any prior image fusion or resampling process. By managing the spectral information at its native spatial resolution, our method, named MRFusion, aims at avoiding the possible infor- mation loss induced by pansharpening or any other hand-crafted preprocessing. Moreover, the proposed architecture is suitably designed to learn non-linear transformations of the sources with the explicit aim of taking as much as possible advantage of the complementarity of PAN and MS imagery. Experiments are carried out on two-real world scenarios depicting large areas with different land cover characteristics. The characteristics of the proposed scenarios underline the applicability and the generality of our method in operational settings.

연구 동기 및 목표

• 기존 패널샤프닝 기반 파ip라인에서 발생하는 아티팩트와 정보 손실 문제를 해결하기 위해.
• 원본 공간 해상도에서 패널라식(PAN) 및 다중스펙트럼(MS) 영상을 동시에 처리하는 딥러닝 프레임워크를 개발하기 위해.
• 중간 단계의 리샘플링 또는 스케일업 없이 고해상도 패널라식 및 다중스펙트럼 데이터의 상호보완적 정보를 활용하여 분류 정확도를 향상시키기 위해.
• 다양한 지형 유형에 걸쳐 실제 VHSR 데이터셋에서 엔드 투 엔드 학습의 효과를 입증하기 위해.

제안 방법

• MRFusion는 두 개의 브랜치로 구성된 두 개의 컨볼루션 신경망을 사용한다: 하나의 브랜치는 고해상도 패널라식(PAN) 영상을 처리하고, 다른 하나는 저해상도 다중스펙트럼(MS) 영상을 처리한다.
• 각 브랜치는 컨볼루션 및 풀링 레이어를 통해 계층적인 공간 및 스펙트럼 특징을 추출하며, 입력 데이터의 원본 해상도를 유지한다.
• 두 브랜치의 특징은 후기 융합 단계에서 결합되어 PAN의 공간 세부 정보와 MS의 스펙트럼 정보를 통합한다.
• 모델은 지도 학습 손실을 사용하여 엔드 투 엔드로 훈련되며, 원본으로 처리되지 않은 PAN 및 MS 입력에서 직접 지형 분류 클래스 예측을 최적화한다.
• 업샘플링 또는 패널샤프닝 단계를 완전히 회피함으로써, 전처리 파이프라인에서 흔히 발생하는 방사능 불일치 및 정보 손실을 방지한다.
• 입력 자료의 비선형 변환을 명시적으로 모델링하여, 상호보완적 특성의 최대 활용을 도모한다.

실험 결과

연구 질문

• RQ1 패널라식 및 다중스펙트럼 영상을 사전 융합 또는 리샘플링 없이 원본 해상도에서 처리하는 딥러닝 모델이 지형 분류 성능을 향상시킬 수 있는가?
• RQ2 패널샤프닝에 의존하는 전통적 파이프라인과 비교할 때, 원본 해상도 데이터에서 엔드 투 엔드 학습이 분류 정확도 및 아티팩트 생성 측면에서 어떻게 성능을 내는가?
• RQ3 원본 스펙트럼 및 공간 해상도를 유지할 경우, 수자원, 도시 지역 및 산림과 같은 어려운 지형 유형의 구분 능력이 얼마나 향상되는가?
• RQ4 중간 단계의 데이터 변환 없이 두 개의 브랜치 CNN 아키텍처가 공간 및 스펙트럼 정보를 효과적으로 융합하여 더 강력하고 일관된 예측을 이끌 수 있는가?

주요 결과

• MRFusion는 두 개의 실제 세계 데이터셋에서 기존의 DMIL 및 CNN_PS 기준 모델보다 우수한 정량적 성능을 달성하여 전체 및 클래스별 정확도에서 승리했다.
• 시각적 검토 결과, CNN_PS는 나무 작물 클래스에서 수평 스트라이프 아티팩트를 유발했으며, 이는 패널샤프닝된 입력에서 발생하는 방사능 불일치 때문으로 보였다. 반면 MRFusion는 이러한 아티팩트를 보이지 않았다.
• 레위니옹 섬 데이터셋에서 MRFusion는 수중 산호초를 수자원으로 정확히 분류했지만, DMIL 및 CNN_PS는 이 클래스를 노천 암석 및 도시 지역으로 잘못 분류했다.
• 산림 지역에서는 MRFusion가 더 균일하고 정확한 분류 결과를 보였고, 반면 DMIL 및 CNN_PS는 산림과 사탕수수 및 과수원이 혼합된 노이즈가 많은 결과를 보였다.
• 도시 지역 및 해안 지역의 복잡한 환경에서 MRFusion는 도시 지역과 수면 간의 혼동을 줄였으며, CNN_PS가 수면 클래스를 크게 과도하게 예측한 것에 비해 수면 예측을 더 적절하게 처리했다.
• 원본 해상도의 공간 및 스펙트럼 특징을 동시에 활용함으로써, 특히 복잡한 도시 및 해안 환경에서 더 일관되고 정규화된 공간 예측이 가능해졌으며, 클래스 간의 명확한 구분이 향상되었다.