[논문 리뷰] SSIF: Learning Continuous Image Representation for Spatial-Spectral Super-Resolution

Gengchen Mai, Ni Lao외 8명|arXiv (Cornell University)|2023. 09. 30.

Advanced Image Fusion TechniquesEngineering인용 수 3

한 줄 요약

이 논문은 공간 좌표와 파장의 연속 함수로 이미지를 표현하는 신경 은닉 모델인 공간-스펙트럼 은닉 함수(SSIF)를 제안한다. 이는 임의의 해상도에서 공간-스펙트럼 초해상도를 통합적으로 수행할 수 있도록 한다. SSIF는 각 해상도에 맞게 미세조정된 최첨단 기준 모델들조차도 초월하여, 하류의 토지 이용 분류 작업에서 최대 7%의 정확도 향상을 달성한다.

ABSTRACT

Existing digital sensors capture images at fixed spatial and spectral resolutions (e.g., RGB, multispectral, and hyperspectral images), and each combination requires bespoke machine learning models. Neural Implicit Functions partially overcome the spatial resolution challenge by representing an image in a resolution-independent way. However, they still operate at fixed, pre-defined spectral resolutions. To address this challenge, we propose Spatial-Spectral Implicit Function (SSIF), a neural implicit model that represents an image as a function of both continuous pixel coordinates in the spatial domain and continuous wavelengths in the spectral domain. We empirically demonstrate the effectiveness of SSIF on two challenging spatio-spectral super-resolution benchmarks. We observe that SSIF consistently outperforms state-of-the-art baselines even when the baselines are allowed to train separate models at each spectral resolution. We show that SSIF generalizes well to both unseen spatial resolutions and spectral resolutions. Moreover, SSIF can generate high-resolution images that improve the performance of downstream tasks (e.g., land use classification) by 1.7%-7%.

연구 동기 및 목표

• 이미지 초해상도에서 공간 해상도와 스펙트럼 해상도의 모든 조합에 대해 별도의 딥러닝 모델을 훈련하는 문제를 해결한다.
• 기존 신경 은닉 함수가 스펙트럼 도메인에서 해상도에 고정되어 있는 한계를 극복한다.
• 재훈련 없이도 예측되지 않은 공간 해상도와 스펙트럼 해상도로 일반화할 수 있는 통합 모델을 개발한다.
• 원격 감시에서 토지 이용 분류와 같은 하류 작업을 위한 초해상도 이미지의 정밀도를 향상시킨다.
• 무한한 파장 대역을 포함한 임의의 스펙트럼 해상도 출력을 지원하기 위해 연속적인 스펙트럼 표현을 가능하게 한다.

제안 방법

• 이미지를 연속적인 공간 좌표 (x, y)와 연속적인 파장 (λ)을 픽셀 강도로 매핑하는 신경 은닉 함수로 표현한다.
• 저해상도 다중스펙트럼 이미지(LR-MSI)를 처리하기 위해 다중지점 인코더를 사용하여 공간 및 스펙트럼 특징을 추출한다.
• 파장을 임베딩 벡터로 매핑하는 학습 가능한 스펙트럼 인코더를 통합하며, 이는 조각별 선형 또는 PK 기저 함수와 유사하다.
• 좌표 기반 네트워크(SIF)를 사용하여 공간 좌표와 스펙트럼 임베딩에서 고해상도 이미지 값을 예측한다.
• 구조적이고 스펙트럼적 정밀도를 유지하기 위해 L1 손실과 인지적 손실을 함께 사용하여 모델을 종합적으로 훈련한다.
• 입력 이미지 특징과 연속적인 질의 좌표/파장에 조건을 주어 제로샷 일반화를 가능하게 한다.

Figure 1: Spatial-Spectral Implicit Function ( \modelname ). Given an input low-resolution multispectral (LR-MSI) image, \modelname can perform both spatial (blue arrows) and spectral (red arrows) super-resolution simultaneously (illustrated with a specific pixel A). Unlike all the other neural impl

실험 결과

연구 질문

• RQ1 단일 신경 은닉 모델이 초해상도 작업에서 다양한 공간 해상도와 스펙트럼 해상도로 일반화할 수 있는가?
• RQ2 연속적인 스펙트럼 표현이 고정 기저 스펙트럼 모델링보다 고해상도 스펙트럼 이미지 초해상도에서 더 높은 성능을 내는가?
• RQ3 기존 방법과 비교해 본다면, 제안된 모델은 토지 이용 분류와 같은 하류 작업에서 어떻게 성능을 내는가?
• RQ4 훈련 중에 볼 수 없었던 공간 해상도와 스펙트럼 해상도로 모델이 얼마나 잘 일반화되는가?
• RQ5 학습된 스펙트럼 임베딩이 어떤 종류의 스펙트럼 기저 함수를 띠며, 재구성 품질에 어떻게 기여하는가?

주요 결과

• SSIF는 CAVE 및 Pavia Centre 데이터셋에서 최첨단 기준 모델들을 항상 능가하며, 이 기준 모델들이 스펙트럼 해상도에 맞게 미세조정된 경우조차도 마찬가지다.
• Pavia Centre 토지 이용 분류 작업에서, SSIF-RF-GS는 최고의 기준 모델인 LIIF보다 정확도를 1.7%에서 7%까지 향상시켰다.
• 훈련 분포 외의 예측되지 않은 공간 해상도(예: 배율 요소 2, 3, 4, 8)와 스펙트럼 해상도로도 효과적으로 일반화된다.
• 스펙트럼 인코더는 고전적인 조각별 선형(PL) 또는 연속적인 PK 기저 함수와 유사한 임베딩을 학습하여 탄력적인 스펙트럼 표현을 가능하게 한다.
• 정량적 지표와 하류 작업 성능을 통해 검증된 바와 같이, SSIF는 시각적으로 타당한 결과를 내는 고정밀 초해상도를 달성한다.
• 불규칙하게 간격이 떨어진 파장 대역을 포함한 다양한 스펙트럼 밴드 구성에서도 모델이 강건하게 작동함을 보이며, 표준 RGB나 고스펙트럼 형식을 초월한 유연성을 입증한다.

(a) Data Preparation