[논문 리뷰] Binarized Spectral Compressive Imaging

Yuanhao Cai, Yuxin Zheng외 4명|arXiv (Cornell University)|2023. 05. 17.

Sparse and Compressive Sensing Techniques인용 수 9

한 줄 요약

BiSRNet은 스냅샷 압축 이미징에서 Hyperspectral 이미지 복원을 위한 컴팩트 base 모델을 이진화하며, 새로운 Binarized Spectral-Redistribution Convolution과 네 가지 이진화 모듈을 사용해 전체 정밀도 정보 흐름을 유지하고 이진화 방법 중 최첨단 결과를 달성합니다.

ABSTRACT

Existing deep learning models for hyperspectral image (HSI) reconstruction achieve good performance but require powerful hardwares with enormous memory and computational resources. Consequently, these methods can hardly be deployed on resource-limited mobile devices. In this paper, we propose a novel method, Binarized Spectral-Redistribution Network (BiSRNet), for efficient and practical HSI restoration from compressed measurement in snapshot compressive imaging (SCI) systems. Firstly, we redesign a compact and easy-to-deploy base model to be binarized. Then we present the basic unit, Binarized Spectral-Redistribution Convolution (BiSR-Conv). BiSR-Conv can adaptively redistribute the HSI representations before binarizing activation and uses a scalable hyperbolic tangent function to closer approximate the Sign function in backpropagation. Based on our BiSR-Conv, we customize four binarized convolutional modules to address the dimension mismatch and propagate full-precision information throughout the whole network. Finally, our BiSRNet is derived by using the proposed techniques to binarize the base model. Comprehensive quantitative and qualitative experiments manifest that our proposed BiSRNet outperforms state-of-the-art binarization methods and achieves comparable performance with full-precision algorithms. Code and models are publicly available at https://github.com/caiyuanhao1998/BiSCI and https://github.com/caiyuanhao1998/MST

연구 동기 및 목표

• snapshot compressive imaging (SCI)에서 자원 제한 디바이스를 위한 효율적인 HSI 재구성을 동기화합니다.
• edge 배포에 적합한 Compact하고 이진화 가능한 base 모델을 설계합니다.
• 이진화 전에 분광 표현을 적응시키고 Sign 함수의 근사도를 개선하기 위해 BiSR-Conv를 개발합니다.
• 차원 변화에도 전체 정밀도 정보 흐름을 보존하도록 네 가지 이진화 모듈(축소, 확장, 융합 하향, 융합 상향)을 만듭니다.
• BiSRNet이 최첨단 이진화 방법을 능가하고 HSI 재구성에서 완전 정밀 CNN과 경쟁하는 것을 보여줍니다.

제안 방법

• 이진화를 위한 28 스펙트럴 채널에서 작동하는 인코더–병목–디코더 구조의 Compact U-형 기본 모델을 제안합니다.
• Sign 기반 이진화 전에 스펙트럴 재분배 X_r = k * X_f + b를 갖는 Binarized Spectral-Redistribution Convolution (BiSR-Conv)을 도입합니다.
• 역전파 중 Sign를 근사하기 위해 Alpha가 학습된 실용 가능한 구간에서의 스케일러블한 하이퍼볼릭 탄젠트 Tanh(αx)을 사용합니다.
• RPReLU 기반 융합을 통해 이진화 층 간의 풀-정밀도 정보를 전달하는 우회 잔차 경로를 포함합니다.
• 차원 불일치를 완화하면서도 풀-정밀도 정보 흐름을 유지하기 위해 네 가지 이진화 모듈(다운샘플, 업샘플, 융합 하향, 융합 상향)을 구성합니다.
• 표준 컨볼루션을 BiSR-Conv으로 교체하고 기본 모델의 E, B, D에 네 가지 이진화 모듈을 적용하여 네트워크 전체를 이진화합니다.

실험 결과

연구 질문

• RQ1 이진화된 네트워크가 대규모 정확도 손실 없이 엣지 디바이스에서 압축 SCI 측정으로 HSI 큐브를 효율적으로 재구성할 수 있는가?
• RQ2 밴드 간의 스펙트럼 밀도 변화를 이진화 프레임워크 내에서 어떻게 수용할 수 있는가?
• RQ3 스케일러블한 시그모이드 유사 연산자(Tanh(αx))가 이진화된 스펙트럴 이미징 맥락에서 Sign의 더 나은 역전파 대리자를 제공하는가?
• RQ4 다운샘플링/업샘플링의 차원 불일치를 풀-정밀도 정보 흐름을 보존하기 위해 어떻게 처리할 수 있는가?
• RQ5 BiSRNet은 HSI 재구성 과제에서 최첨단 이진화 네트워크 및 풀-정밀도 CNN과 어떻게 비교되는가?

주요 결과

비트	카테고리	Params (K)	OPs (G)	S1 PSNR	S1 SSIM	S2 PSNR	S2 SSIM	S3 PSNR	S3 SSIM	S4 PSNR	S4 SSIM	S5 PSNR	S5 SSIM	S6 PSNR	S6 SSIM	S7 PSNR	S7 SSIM	S8 PSNR	S8 SSIM	S9 PSNR	S9 SSIM	S10 PSNR	S10 SSIM	Avg PSNR	Avg SSIM
1	BNN	36	1.18	30.95	0.847	29.21	0.791	29.11	0.828	35.91	0.903	28.19	0.827	30.22	0.863	27.85	0.800	29.46	0.832	27.88	0.800	29.76	0.837

• BiSRNet은 시뮬레이션 테스트에서 최첨단 이진화 신경망보다 상당한 차이로 우수한 성능을 보입니다.
• BiSRNet은 메모리 및 계산을 현저히 줄이면서도 풀-정밀도 CNN 기반 방법과 비슷한 성능을 달성합니다.
• 스펙트럴 재분배와 확장 가능한 Tanh(αx)를 갖춘 BiSR-Conv 유닛은 Clip/Quad 근사 대비 PSNR/SSIM을 크게 향상시킵니다.
• 4개의 이진화 모듈(다운샘플, 업샘플, 융합 하향, 융합 상향)은 계층 간의 차원 불일치를 완화하면서도 풀-정밀도 정보 흐름을 차단 없이 가능하게 합니다.
• 절제된 연구에서 BiSR-Conv와 스펙트ral 재분배 및 Tanh(αx) 조합이 가장 큰 성능 향상을 보이며(예: 베이스라인 대비 PSNR이 최대 약 3.0 dB 증가).
• KAIST 실제/시뮬레이션 데이터에서 BiSRNet은 7개의 1비트 BNN 방법보다 더 높은 PSNR/SSIM을 달성하고 많은 시나리오에서 32비트 방법에 접근하거나 유사한 수준으로 대응합니다.
• 해당 방법은 추가 파라미터가 최소화되고 OP가 낮아 모바일 배치 가능성을 염두에 두고 있습니다.