[논문 리뷰] Pixel-aware Deep Function-mixture Network for Spectral Super-Resolution

Lei Zhang, Zhiqiang Lang외 5명|arXiv (Cornell University)|2019. 03. 24.

Advanced Image Fusion Techniques참고 문헌 42인용 수 8

한 줄 요약

이 논문은 새로운 기능 혼합(FM) 블록을 통해 각 픽셀마다 적응형으로 학습 가능한 수신장과 매핑 함수를 사용하는 픽셀 인식형 딥 함수 혼합 네트워크를 제안한다. FM 블록은 다양한 수신장을 가진 다수의 병렬 서브넷과 혼합 서브넷을 조합하여 픽셀 단위의 가중치를 생성함으로써, 맥락과 매핑의 동적 선택을 가능하게 한다. 이 방법은 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, RMSE는 최저 0.98, PSNR는 최고 49.87 dB까지 향상된다.

ABSTRACT

Spectral super-resolution (SSR) aims at generating a hyperspectral image (HSI) from a given RGB image. Recently, a promising direction for SSR is to learn a complicated mapping function from the RGB image to the HSI counterpart using a deep convolutional neural network. This essentially involves mapping the RGB context within a size-specific receptive field centered at each pixel to its spectrum in the HSI. The focus thereon is to appropriately determine the receptive field size and establish the mapping function from RGB context to the corresponding spectrum. Due to their differences in category or spatial position, pixels in HSIs often require different-sized receptive fields and distinct mapping functions. However, few efforts have been invested to explicitly exploit this prior. To address this problem, we propose a pixel-aware deep function-mixture network for SSR, which is composed of a new class of modules, termed function-mixture (FM) blocks. Each FM block is equipped with some basis functions, i.e., parallel subnets of different-sized receptive fields. Besides, it incorporates an extra subnet as a mixing function to generate pixel-wise weights, and then linearly mixes the outputs of all basis functions with those generated weights. This enables us to pixel-wisely determine the receptive field size and the mapping function. Moreover, we stack several such FM blocks to further increase the flexibility of the network in learning the pixel-wise mapping. To encourage feature reuse, intermediate features generated by the FM blocks are fused in late stage, which proves to be effective for boosting the SSR performance. Experimental results on three benchmark HSI datasets demonstrate the superiority of the proposed method.

연구 동기 및 목표

• 기존의 딥 컨볼루션 네트워크 기반 스펙트럴 슈퍼레졸루션(SSL) 방법에서 고정된 수신장과 일반화된 매핑 함수의 한계를 해결하기 위해.
• 공간적 및 카테고리 특화 맥락을 바탕으로 스펙트럴 슈퍼레졸루션에서 픽셀 단위의 수신장 크기와 매핑 함수의 적응을 가능하게 하기 위해.
• 학습 가능한 동적 융합 메커니즘을 통해 이질적인 픽셀 특성 모델링을 통해 스펙트럴 슈퍼레졸루션 정확도를 향상시키기 위해.
• FM 블록을 스태킹하고 중간 특징을 융합함으로써 특징 재사용과 모델 유연성을 향상시키기 위해.

제안 방법

• 다양한 수신장 크기를 가진 다수의 병렬 서브넷(기저 함수)과 별도의 혼합 함수로 구성된 기능 혼합(FM) 블록을 도입한다.
• 혼합 함수는 픽셀 단위의 주의 가중치를 생성하여 기저 함수의 출력을 선형 조합함으로써, 각 픽셀에 대해 맥락과 매핑의 동적 선택을 가능하게 한다.
• 이러한 FM 블록을 반복적으로 스태킹하여 이미지 전반에 걸쳐 픽셀 특화 매핑을 학습하는 데서의 민첩성을 향상시킨다.
• FM 블록의 중간 특징을 후기 단계 스킵 연결을 통해 융합하여 특징 재사용을 장려하고 표현 학습을 향상시킨다.
• 아키텍처는 모듈식이며 다양한 딥 컨볼루션 네트워크 백본에 통합될 수 있다.
• 선형 기반의 기저 함수 혼합을 사용하며, 고분광 재구성에 표준 회귀 손실(RMSE 등)을 통해 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 스펙트럴 슈퍼레졸루션에서 픽셀 단위로 수신장 크기와 매핑 함수를 동적으로 적응시킬 수 있는가?
• RQ2 다양한 스케일의 기저 함수 혼합을 학습 가능한 픽셀 단위로 적용할 경우, 고정된 수신장 또는 일반 매핑 접근 방식보다 성능이 뛰어나지 않는가?
• RQ3 후기 단계 특징 융합은 SSR 네트워크의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 정확도와 효율성 측면에서 기저 함수의 수와 모델 복잡도 사이의 최적의 트레이드오프는 무엇인가?

주요 결과

• 제안된 방법은 NTIRE2018 데이터셋에서 테스트 RMSE 0.98, PSNR 49.87 dB를 달성하여 이전 최신 기술 수준 방법을 초월한다.
• 절단 실험 결과, 픽셀 단위 혼합과 중간 특징 융합이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 저하된다.
• 기저 함수 수를 1개에서 5개로 증가시킬 경우 RMSE는 1.47에서 0.98로 향상되어 모델 용량 증가의 이점이 입증된다.
• FM 블록 수(p) 역시 성능에 영향을 미치며, 최적의 성능은 p=6일 때( RMSE: 1.00, PSNR: 49.59) 달성되나, p>6를 초과하면 성능 향상이 둔화된다.
• 세 가지 벤치마크 데이터셋(NCIRE2018, CAVE, HSx) 전반에서 일관된 우수성을 보이며, RMSE, PSNR, SAM, SSIM 등에서 향상된 성능을 기록한다.
• 재구성된 고분광 영상에서 높은 SSIM(0.9958)과 낮은 SAM(1.00)을 달성하여 높은 구조적 및 스펙트럴 정밀도를 입증한다.