[논문 리뷰] Learned Spectral Super-Resolution

Silvano Galliani, Charis Lanaras외 3명|arXiv (Cornell University)|2017. 03. 28.

Advanced Image Fusion Techniques참고 문헌 40인용 수 99

한 줄 요약

이 논문은 단일 RGB 이미지로 전체 31밴드 초분광 이미지를 생성하는 CNN을 학습시켜 카메라 스펙트ral 응답을 알 수 없는 상태에서 blind spectral super-resolution을 가능하게 한다. 내부, 외부 및 위성 데이터에서 경쟁력 있는 정확도를 보여준다.

ABSTRACT

We describe a novel method for blind, single-image spectral super-resolution. While conventional super-resolution aims to increase the spatial resolution of an input image, our goal is to spectrally enhance the input, i.e., generate an image with the same spatial resolution, but a greatly increased number of narrow (hyper-spectral) wave-length bands. Just like the spatial statistics of natural images has rich structure, which one can exploit as prior to predict high-frequency content from a low resolution image, the same is also true in the spectral domain: the materials and lighting conditions of the observed world induce structure in the spectrum of wavelengths observed at a given pixel. Surprisingly, very little work exists that attempts to use this diagnosis and achieve blind spectral super-resolution from single images. We start from the conjecture that, just like in the spatial domain, we can learn the statistics of natural image spectra, and with its help generate finely resolved hyper-spectral images from RGB input. Technically, we follow the current best practice and implement a convolutional neural network (CNN), which is trained to carry out the end-to-end mapping from an entire RGB image to the corresponding hyperspectral image of equal size. We demonstrate spectral super-resolution both for conventional RGB images and for multi-spectral satellite data, outperforming the state-of-the-art.

연구 동기 및 목표

• 단일 RGB 이미지에서 스펙트럴 해상도를 증가시키는 ill-posed 문제를 동기화하고 다룬다.
• RGB 입력으로부터 31밴드 초분광 이미지를 예측하는 end-to-end CNN 모델을 제안하되 카메라 스펙트럴 응답 정보를 필요로 하지 않는다.
• 다양한 데이터셋(실내/실외 장면 및 위성 영상)에서의 일반화 성능을 시연하고 기존 방법과 비교한다.
• 네트워크가 학습하는 implicit prior로서 스펙트럴 재구성과 초분광 언믹싱 간의 관계를 탐구한다.

제안 방법

• semantic segmentation에서 영감을 받은 합성곱 신경망(Tiramisu/Densely Connected CNN)을 사용하여 입력과 동일한 공간 해상도에서 초분광 출력을 예측한다.
• 해상도 유지를 위해 deconvolution을 subpixel upsampling으로 대체한다.
• 스펙트럴 강도 회귀에 대해 유클리드 손실로 네트워크를 end-to-end로 학습한다.
• 밑줄 연결(skip connections)을 갖는 dense blocks를 사용하여 소실 기울기를 완화하고 다중 스케일 맥락을 포착한다.
• 데이터 증강(flips/rotations)을 포함한 64x64 패치로 학습하고 겹침을 가진 타일링으로 전체 이미지를 재구성하여 테스트한다.
• Adam 최적화기와 HeUniform 초기화로 Keras에서 학습을 구현하고 정규화를 위한 dropout을 사용한다.

실험 결과

연구 질문

• RQ1 단일 RGB 이미지가 카메라 특정 스펙트럴 응답 정보 없이 고해상도 초분광 이미지로 변환될 수 있는가?
• RQ2 학습된 CNN prior가 자연 장면의 스펙트럴 구조를 blind spectral super-resolution에서 얼마나 잘 포착하는가?
• RQ3 학습된 스펙트럴 priors가 실내/실외 및 위성 영상 도메인에서 일반화되는가?
• RQ4 다양한 데이터셋에서 기존 단일 이미지 스펙트럴 초분해능 방법들에 비해 성능 향상이 있는가?

주요 결과

데이터셋	지표	Ours RMSE	Baseline RMSE	Ours RMSERel	Baseline RMSERel	Ours SAM	Baseline SAM
ICVL	RMSE	1.980	2.633	0.0587	0.0756	2.04	–
CAVE	RMSE	4.76	5.4	0.2804	–	12.10	–

• 해당 방법은 ICVL 및 CAVE 데이터셋에서 RMSE, RMSERel, SAM 지표에서 이전 방법(Arad & Ben-Shahar) 대비 정량적 이점을 보인다(RMSE ICVL 1.980 vs 2.633; RMSERel 0.0587 vs 0.0756; SAM 2.04 vs –; CAVE RMSE 4.76 vs 5.4; RMSERel 0.2804 vs –; SAM 12.10 vs –).
• 위성 데이터(Hyperion)에서도 경쟁력 있는 결과를 제공하며, 모델이 카메라 스펙트럴 응답을 모르는 경우에도 비교 기준선보다 우수한 성능을 달성할 수 있다.
• 데이터셋 전반에서 RMSE 및 RMSERel이 향상되며 잡음 제거 효과와 초분광 언믹싱의 합리적인 엔드멤버 추출이 관찰된다.
• 네트워크는 스펙트럴 언믹싱의 학습된 비선형 확장으로 작용하여 RGB 입력으로부터 엔드멤버와 풍부도(endmembers and abundances)를 효과적으로 추론한다.
• 노이즈가 있는 위성 데이터에서 예측된 초분광 영상이 실제 GT 대비 더 깨끗해 보이는 경우가 있어 노이즈 제거 이점이 관찰된다.