[논문 리뷰] A New Backbone for Hyperspectral Image Reconstruction.

Jiamian Wang, Yulun Zhang외 3명|arXiv (Cornell University)|2021. 08. 17.

Sparse and Compressive Sensing Techniques참고 문헌 47인용 수 7

한 줄 요약

이 논문은 공간/스펙트럼 불변 학습, 네스티드 잔차 연결, 계산 효율성을 통합한 새로운 백본인 SSI-ResU-Net을 제안한다. 이는 TSA-Net보다 3 dB 높은 PSNR와 0.036 높은 SSIM 성능을 달성하면서도 파arameter 수의 2.82%만을 사용하고 FLOPs를 77.3% 감소시켜 실용적인 GPU 메모리 제약 조건에서도 고해상도 복원을 가능하게 한다.

ABSTRACT

The study of 3D hyperspectral image (HSI) reconstruction refers to the inverse process of snapshot compressive imaging, during which the optical system, e.g., the coded aperture snapshot spectral imaging (CASSI) system, captures the 3D spatial-spectral signal and encodes it to a 2D measurement. While numerous sophisticated neural networks have been elaborated for end-to-end reconstruction, trade-offs still need to be made among performance, efficiency (training and inference time), and feasibility (the ability of restoring high resolution HSI on limited GPU memory). This raises a challenge to design a new baseline to conjointly meet the above requirements. In this paper, we fill in this blank by proposing a Spatial/Spectral Invariant Residual U-Net, namely SSI-ResU-Net. It differentiates with U-Net in three folds--1) scale/spectral-invariant learning, 2) nested residual learning, and 3) computational efficiency. Benefiting from these three modules, the proposed SSI-ResU-Net outperforms the current state-of-the-art method TSA-Net by over 3 dB in PSNR and 0.036 in SSIM while only using 2.82% trainable parameters. To the greatest extent, SSI-ResU-Net achieves competing performance with over 77.3% reduction in terms of floating-point operations (FLOPs), which for the first time, makes high-resolution HSI reconstruction feasible under practical application scenarios. Code and pre-trained models are made available at this https URL.

연구 동기 및 목표

• 고분광 영상(HSI) 복원에서 복원 성능, 계산 효율성, GPU 메모리 사용 가능성 간의 상충 관계를 해결하기 위해.
• 제한된 GPU 메모리 등의 실용적 제약 조건 하에서도 고해상도 HSI 복원을 가능하게 하는 신경망 백본을 설계하기 위해.
• 복원 품질을 훼손하지 않으면서 모델 복잡성과 FLOPs를 감소시키기 위해.
• 기존 방법들을 초월하는 정확성과 효율성을 동시에 확보하는 새로운 기준을 설정하기 위해.

제안 방법

• 다양한 스케일에서 공간적 및 스펙트럼적 불변성을 활용하여 특징 표현을 향상시키기 위해 척도/스펙트럼 불변 학습을 도입한다.
• 각 블록 내부의 깊은 잔차 연결을 통해 기울기 흐름을 개선하고 특징 정제를 향상시키기 위해 네스티드 잔차 학습을 활용한다.
• 표현 능력을 유지하면서도 여분의 파arameter를 최소화하여 파arameter 수를 줄이는 경량 아키텍처를 설계한다.
• 구조적 단순화를 통해 계산 효율성을 최적화하여 이전 방법 대비 FLOPs를 77.3% 감소시킨다.
• 불변성과 잔차 모듈을 통합한 U-Net 인코더-디코더 구조를 적응시켜 복원 정밀도를 향상시킨다.
• 공간적 및 스펙트럼적 세부 정보를 유지하기 위해 인식 손실과 복원 손실을 함께 사용한 엔드 투 엔드 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 경량 신경망 아키텍처가 FLOPs와 파arameter를 크게 줄이면서도 뛰어난 HSI 복원 성능을 달성할 수 있는가?
• RQ2 공간/스펙트럼 불변 학습은 HSI 복원에서 특징 표현을 어떻게 향상시키는가?
• RQ3 네스티드 잔차 학습은 최소한의 계산 비용으로 복원 품질을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 제한된 GPU 메모리 조건에서도 고해상도 HSI 복원을 가능하게 하는가?
• RQ5 TSA-Net과 같은 SOTA 기법과 비교해 SSI-ResU-Net은 PSNR, SSIM 및 추론 효율성 측면에서 어떻게 다른가?

주요 결과

• SSI-ResU-Net은 SOTA 기법인 TSA-Net보다 3 dB 이상 높은 PSNR와 0.036 높은 SSIM 성능을 달성한다.
• 모델은 TSA-Net이 요구하는 학습 가능한 파arameter 수의 2.82%만을 사용하여 모델 복잡성을 크게 감소시킨다.
• TSA-Net 대비 부동소수점 연산(FLOPs)을 77.3% 감소시켜 실시간 및 메모리 효율적인 추론을 가능하게 한다.
• 본 연구에서 처음으로 실용적인 GPU 메모리 제약 조건 하에서도 고해상도 HSI 복원을 가능하게 한다.
• 다양한 스펙트럼 및 공간 도메인에서 강력한 일반화 능력과 복원 정밀도를 유지한다.
• 코드와 사전 학습 모델을 공개하여 재현 가능성과 향후 연구를 지원한다.