[논문 리뷰] Unsupervised Sparse Dirichlet-Net for Hyperspectral Image Super-Resolution

Ying Qu, Hairong Qi외 1명|arXiv (Cornell University)|2018. 04. 13.

Advanced Image Fusion Techniques참고 문헌 41인용 수 6

한 줄 요약

이 논문은 지도 학습이 필요한 고해상도(HR) HSI를 요구하지 않고, 저해상도(HR) HSI와 고해상도(MSI)를 융합하는 비지도 스파arsed 디리클레-넷(uSDN)을 제안한다. 이 방법은 표현에 스파arsed 디리클레 제약과 각도 유사도 손실을 적용하여 스펙트럼 정밀도를 유지하면서, 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In many computer vision applications, obtaining images of high resolution in both the spatial and spectral domains are equally important. However, due to hardware limitations, one can only expect to acquire images of high resolution in either the spatial or spectral domains. This paper focuses on hyperspectral image super-resolution (HSI-SR), where a hyperspectral image (HSI) with low spatial resolution (LR) but high spectral resolution is fused with a multispectral image (MSI) with high spatial resolution (HR) but low spectral resolution to obtain HR HSI. Existing deep learning-based solutions are all supervised that would need a large training set and the availability of HR HSI, which is unrealistic. Here, we make the first attempt to solving the HSI-SR problem using an unsupervised encoder-decoder architecture that carries the following uniquenesses. First, it is composed of two encoder-decoder networks, coupled through a shared decoder, in order to preserve the rich spectral information from the HSI network. Second, the network encourages the representations from both modalities to follow a sparse Dirichlet distribution which naturally incorporates the two physical constraints of HSI and MSI. Third, the angular difference between representations are minimized in order to reduce the spectral distortion. We refer to the proposed architecture as unsupervised Sparse Dirichlet-Net, or uSDN. Extensive experimental results demonstrate the superior performance of uSDN as compared to the state-of-the-art.

연구 동기 및 목표

• 지도 학습 기반 HSI-SR 방법에서 요구하는 대규모 고해상도(HR) HSI 지도 데이터의 부족 문제를 해결하기 위해.
• 고해상도(HR) MSI를 사용하여 저해상도(HSI)의 공간 해상도를 향상시키면서도, 저해상도 HSI의 풍부한 스펙트럼 정보를 유지하기 위해.
• 다양한 모odal 표현 간의 각도 유사도를 강제하여 재구성된 HR HSI의 스펙트럼 왜곡을 최소화하기 위해.
• 쌍체의 HR HSI 데이터나 알려진 다운샘플링 함수에 의존하지 않는 비지도 프레임워크를 개발하기 위해.
• 센서 고유의 매핑 함수가 알려지지 않았거나 변동성이 있는 실세계 조건에서도 강건한 HSI-SR를 가능하게 하기 위해.

제안 방법

• 이 방법은 HSI와 MSI 각각에 대해 별도의 인코더를 갖는 공유 디코더 아키텍처를 사용하여, 모달리티 특화된 스펙트럼 및 공간 특징을 유지하면서 공동 학습을 가능하게 한다.
• 두 모달리티의 표현이 스파arsed 디리클레 분포를 따르도록 제약을 적용하여, HSI와 MSI의 물리적 제약 조건인 합이 1이고 희소적인 벡터로 모델링한다.
• 재구성 손실과 각도 유사도 손실을 조합한 새로운 손실 함수를 도입하여, HSI와 MSI 표현 간의 각도 차이를 일치시켜 스펙트럼 왜곡을 최소화한다.
• HR HSI 지도 데이터가 필요 없이, 오직 저해상도(HR) HSI와 고해상도(MSI) 쌍만을 사용하여 비지도 방식으로 네트워크를 학습한다.
• 최적화 과정에서 스파arsity를 제어하는 자유 매개변수 λ와 디코더 가중치 정규화를 위한 μ를 포함하며, λ는 RMSE를 최소화하도록 경험적으로 조정된다.
• 모델은 선형 스펙트럼 분해를 가정하며, HR HSI와 HR MSI는 학습된 스펙트럼 기저와 공간 표현의 선형 조합으로 표현된다.

실험 결과

연구 질문

• RQ1 쌍체의 고해상도(HR) HSI 지도 데이터가 필요 없이도 비지도 딥 러닝 프레임워크가 효과적으로 HSI-SR를 수행할 수 있는가?
• RQ2 저해상도(HSI)와 고해상도(MSI)를 융합할 때 재구성된 HR HSI의 스펙트럼 정밀도를 어떻게 유지할 수 있는가?
• RQ3 특징 표현에 대한 스파arsed 디리클레 제약이 재구성 품질 향상과 스펙트럼 왜곡 감소에 얼마나 기여하는가?
• RQ4 HSI와 MSI 표현 간의 각도 유사도 손실이 수렴 속도와 스펙트럼 정확도에 미치는 영향은 어떠한가?
• RQ5 스파arsity와 합이 1인 제약 조건이 학습된 공간 표현과 스펙트럼 기저에 미치는 영향은 무엇인가?

주요 결과

• uSDN은 CAVE 및 WHU 고분광 이미지 데이터셋에서 최신 기술 수준의 성능을 달성하여, RMSE 및 SAM 지표에서 기존의 지도 학습 및 비지도 방법을 모두 능가한다.
• 제거 실험을 통해 스파ersed 디리클레 제약과 각도 유사도 손실을 동시에 적용할 경우 RMSE가 가장 낮고 수렴 속도가 가장 빠르며, 학습이 진행될수록 RMSE가 크게 감소함을 확인하였다.
• 히스토GRAM 분석을 통해 학습된 공간 표현 S_m가 명확한 희소성을 보이며, 모델의 압축되고 의미 있는 특징 인코딩 설계가 타당함을 검증하였다.
• uSDN이 학습한 스펙트럼 기저 Φ_h는 데이터 분포를 효과적으로 둘러싸며, CSU 및 BSR 대비 전체 스펙트럼 변동성을 더 잘 포괄하고 있음을 확인하였다.
• 모델는 부드럽게 수렴하였으며, 10회 반복마다 각도 차이 최소화를 통해 MSI 네트워크의 변동이 미미하게 유지되었다.
• 최적의 λ 값은 1×10⁻⁶로 확인되었으며, 이는 최적화 과정에서 적절한 스파arsity 제어의 중요성을 입증한다.