[논문 리뷰] Recent Advances and New Guidelines on Hyperspectral and Multispectral Image Fusion

Renwei Dian, Shutao Li외 2명|arXiv (Cornell University)|2020. 08. 08.

Advanced Image Fusion Techniques참고 문헌 94인용 수 7

한 줄 요약

이 논문은 고분광 및 다분광 영상 융합(HSI-MSI)에 대한 종합적인 리뷰와 새로운 지침을 제공하며, 방법을 편집선명화 기반, 행렬 분해 기반, 텐서 표현 기반, 딥 컨volution 신경망(CNN) 기반으로 분류한다. 자세한 비교를 제공하고 공간 해저드 모델링 및 PSF/SRF 추정과 같은 핵심 과제를 밝히며, 실세계 응용을 위한 실시간 처리 최적화 및 제로샷 학습과 같은 향후 연구 방향을 제안한다.

ABSTRACT

Hyperspectral image (HSI) with high spectral resolution often suffers from low spatial resolution owing to the limitations of imaging sensors. Image fusion is an effective and economical way to enhance the spatial resolution of HSI, which combines HSI with higher spatial resolution multispectral image (MSI) of the same scenario. In the past years, many HSI and MSI fusion algorithms are introduced to obtain high-resolution HSI. However, it lacks a full-scale review for the newly proposed HSI and MSI fusion approaches. To tackle this problem,this work gives a comprehensive review and new guidelines for HSI-MSI fusion. According to the characteristics of HSI-MSI fusion methods, they are categorized as four categories, including pan-sharpening based approaches, matrix factorization based approaches, tensor representation based approaches, and deep convolution neural network based approaches. We make a detailed introduction, discussions, and comparison for the fusion methods in each category. Additionally, the existing challenges and possible future directions for the HSI-MSI fusion are presented.

연구 동기 및 목표

• 최근 HSI-MSI 융합 방법, 특히 텐서 기반 및 딥 러닝 기반 접근법에 대한 종합적인 리뷰가 부족한 데 대비하여.
• 기본 원리와 성능에 기반해 기존 HSI-MSI 융합 기법을 체계적으로 분류하고 비교하기 위해.
• 실세계 HSI-MSI 융합에서의 핵심 과제, 예를 들어 공간 해저드 모델링 및 알려지지 않은 PSF/SRF와 같은 문제를 규명하기 위해.
• 제로샷 학습 및 계산 효율성 최적화와 같은 새로운 지침과 향후 연구 방향을 제공하기 위해.
• 객체 분류, 이방성 탐지, 환경 모니터링과 같은 원격 감지 응용 분야에서 융합 성능 향상을 지원하기 위해.

제안 방법

• HSI-MSI 융합 방법을 네 가지 유형으로 분류: 편집선명화 기반, 행렬 분해(MF) 기반, 텐서 표현(TR) 기반, 딥 CNN 기반 접근법.
• 수식, 장점, 한계, 구현 세부 사항 측면에서 각 방법 유형을 검토하고 비교.
• 점원함수(PSF)와 스펙트럼 반응 함수(SRF)를 포함하는 관측 모델을 분석하며, 융합 정확도에서의 그 역할을 강조.
• 딥 러닝 기반 융합을 위한 부족한 실세계 학습 데이터 문제를 해결하기 위해 제로샷 학습을 제안.
• HSI와 MSI 간의 큰 공간 해상도 차이를 다루기 위해 공간 해저드 모델링을 핵심 요소로 도입.
• 계산 효율성 전략에 대해 논의하며, 저차원 부분공간 표현과 딥 러닝 모델의 GPU 가속 기법을 포함.

실험 결과

연구 질문

• RQ1 편집선명화 기반, MF 기반, TR 기반, 딥 CNN 기반 등의 다양한 HSI-MSI 융합 방법은 융합 품질과 계산 비용 측면에서 어떻게 비교되는가?
• RQ2 특히 알려지지 않은 PSF와 SRF에 대해 실세계 HSI-MSI 융합에서의 주요 과제는 무엇인가?
• RQ3 제로샷 학습은 쌍체 학습 데이터가 없이도 HSI와 MSI를 이용해 딥 CNN을 효과적으로 훈련시킬 수 있도록 어떻게 적용될 수 있는가?
• RQ4 텐서 기반 및 딥 러닝 기반 방법은 전통적 방법에 비해 융합 성능을 얼마나 향상시키는가?
• RQ5 대규모 HSI 및 MSI 데이터를 위한 계산 효율성을 향상시키기 위해 어떤 전략을 사용할 수 있는가?

주요 결과

• 딥 CNN 기반 방법은 엔드 투 엔드 학습을 통해 높은 융합 품질과 계산 효율성을 달성하지만, 스펙트럼 범위나 센서 모델에서 학습 및 테스트 데이터가 다를 경우 일반화 능력이 제한된다.
• 행렬 분해 및 텐서 표현 방법은 정확한 PSF 및 SRF 추정에 민감하며, 부정확한 모델은 융합 영상에서 심각한 공간 왜곡을 유발한다.
• 제로샷 학습은 공간 하향 샘플링을 통해 합성 학습 데이터를 생성함으로써, 타겟 HSI와 MSI만을 사용해 딥 CNN을 훈련시켜 미리 알 수 없는 센서에 대한 일반화 능력을 향상시킨다.
• 저차원 부분공간 표현은 스펙트럼 중복성을 활용함으로써 MF 및 TR 기반 방법의 계산 복잡도를 크게 감소시킨다.
• PSF 및 SRF 추정에 총 변동성 정규화를 사용하면 안정성이 향상되지만, 음수 값이 발생할 수 있어 추가 제약 조건이 필요하다.
• 딥 러닝 기반 융합에서 GPU 가속은 계산 효율성을 크게 향상시켜 대규모 원격 감지 데이터에 대한 실시간 처리를 가능하게 한다.