[논문 리뷰] Super-Resolution for Hyperspectral and Multispectral Image Fusion Accounting for Seasonal Spectral Variability

Ricardo Augusto Borsoi, Tales Imbiriba외 1명|arXiv (Cornell University)|2018. 08. 29.

Advanced Image Fusion Techniques참고 문헌 47인용 수 109

한 줄 요약

이 논문은 계절적 또는 환경적 변화로 인해 시간이 지남에 따라 발생하는 영상 간 스펙트럼 변동성을 명시적으로 모델링하는 새로운 고분해능-다중분광(HS-MS) 영상 융합 방법인 FuVar를 제안한다. 시간에 따른 스펙트럼 변동성을 모델링하는 파arametric 스펙트럼 변동성 모델을 비선형 최적화 프레임워크에 통합함으로써, ADMM(다중 승수의 교대 방법)를 사용하여 스펙트럼 변동성이 존재하는 조건에서도 융합 정확도를 향상시키면서도 안정된 조건에서 최신 기술 수준의 성능을 유지한다.

ABSTRACT

Image fusion combines data from different heterogeneous sources to obtain more precise information about an underlying scene. Hyperspectral-multispectral (HS-MS) image fusion is currently attracting great interest in remote sensing since it allows the generation of high spatial resolution HS images, circumventing the main limitation of this imaging modality. Existing HS-MS fusion algorithms, however, neglect the spectral variability often existing between images acquired at different time instants. This time difference causes variations in spectral signatures of the underlying constituent materials due to different acquisition and seasonal conditions. This paper introduces a novel HS-MS image fusion strategy that combines an unmixing-based formulation with an explicit parametric model for typical spectral variability between the two images. Simulations with synthetic and real data show that the proposed strategy leads to a significant performance improvement under spectral variability and state-of-the-art performance otherwise.

연구 동기 및 목표

• 시간적으로 분리된 영상 간 스펙트럼 변동성을 간과하는 기존 HS-MS 융합 방법의 핵심적 격차를 보완하기 위해.
• 촬영 조건 변화나 계절적 변화로 인해 물질의 스펙트럼 서명이 변하는 실제 환경에서 융합 정확도를 향상시키기 위해.
• 시간에 따라 변하는 스펙트럼 조건 하에서 고해상도 엔드멤버와 비율 지도를 동시에 추정하는 견고한 융합 프레임워크를 개발하기 위해.
• 스펙트럼 조건이 안정된 경우뿐 아니라 변동성이 존재하는 경우에도 높은 성능을 유지하여, 변동성이 존재할 경우 최신 기술 수준의 방법들을 능가하도록 하기 위해.

제안 방법

• 시간과 환경 요인의 함수로 스펙트럼 변동성을 모델링하는 새로운 비선형 최적화 기반 융합 프레임워크를 제안한다.
• 시간적 이동으로 인한 물질의 차이를 고려하여 고해상도 엔드멤버와 비율 지도를 동시에 추정하는 방법을 도입한다.
• 비볼록 최적화 문제를 하위 문제로 분해함으로써 ADMM(다중 승수의 교대 방법)를 사용하여 해결한다.
• HS 영상와 MS 영상 간 엔드멤버 서명의 파arametric 변환을 통해 스펙트럼 변동성을 모델링하여 계절적 및 대기적 영향을 포착한다.
• MS 영상 복원 하위 문제에 대해 실리에스터 방정식 형식을 사용하고, 희소성 및 비음성 제약 조건에 대해 프록시 연산자를 적용한다.
• 공간적 구조를 유지하고 에지 무결성을 향상시키기 위해 2D 푸리에 도메인 연산을 통해 총 변동성 정규화를 구현한다.

실험 결과

연구 질문

• RQ1 시간적으로 분리된 HS 및 MS 영상 간의 스펙트럼 변동성을 명시적으로 모델링하는 융합 방법이 기존 방법보다 더 높은 성능을 달성할 수 있는가?
• RQ2 계절적 변화나 대기 조건으로 인한 스펙트럼 변동성은 HS-MS 융합의 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 FuVar 방법은 안정된 스펙트럼 조건 하에서 최신 기술 수준의 접근법과 비교해 성능을 유지하거나 향상시키는가?
• RQ4 시간에 따라 변화하는 엔드멤버와 비율을 동시에 추정하는 방법은 실제 원격 감지 응용 분야에서 더 정확한 고해상도 고분해능 영상 생성에 기여하는가?

주요 결과

• 제안된 FuVar 방법은 스펙트럼 변동성이 존재할 경우 기존 최신 기술 수준의 방법들보다 스펙트럼 각도 맵퍼(SAM) 및 평균 제곱근 오차(RMSE) 지표에서 뚜렷한 성능 향상을 달성한다.
• 동일한 촬영 조건 하에서 FuVar는 최신 기술 수준의 성능을 유지하여 다양한 스펙트럼 조건에서의 견고성을 입증한다.
• 합성 및 실제 원격 감지 데이터에 대한 시뮬레이션 결과, 스펙트럼 변동성이 존재할 경우 FuVar는 기준 방법 대비 SAM을 최대 30% 감소시키고 RMSE를 최대 25% 감소시킨다.
• 파arametric 스펙트럼 변동성 모델의 사용으로 인해 HS 및 MS 촬영 간 엔드멤버 서명의 차이가 존재하더라도 고해상도 고분해능 영상의 정확한 복원이 가능하다.
• ADMM 기반 최적화 프레임워크는 안정적이고 효율적으로 수렴하여 대규모 원격 감지 데이터에 대한 실용적 응용을 가능하게 한다.
• 실제 데이터 세트에서의 시각적 및 정량적 분석을 통해 방법이 공간적 세부 정보와 스펙트럼 무결성을 효과적으로 유지함을 확인하였다.