[論文レビュー] Binarized Spectral Compressive Imaging

Yuanhao Cai, Yuxin Zheng+4 more|arXiv (Cornell University)|May 17, 2023

Sparse and Compressive Sensing Techniques被引用数 9

ひとこと要約

BiSRNet は、スナップショット圧縮イメージングにおける高スペクトル画像復元のためにコンパクトなベースモデルをバイナリ化し、新規の Binarized Spectral-Redistribution Convolution と4つのバイナリ化モジュールを用いて全精度情報フローを維持し、バイナリ化法の中で最先端の結果を達成します。

ABSTRACT

Existing deep learning models for hyperspectral image (HSI) reconstruction achieve good performance but require powerful hardwares with enormous memory and computational resources. Consequently, these methods can hardly be deployed on resource-limited mobile devices. In this paper, we propose a novel method, Binarized Spectral-Redistribution Network (BiSRNet), for efficient and practical HSI restoration from compressed measurement in snapshot compressive imaging (SCI) systems. Firstly, we redesign a compact and easy-to-deploy base model to be binarized. Then we present the basic unit, Binarized Spectral-Redistribution Convolution (BiSR-Conv). BiSR-Conv can adaptively redistribute the HSI representations before binarizing activation and uses a scalable hyperbolic tangent function to closer approximate the Sign function in backpropagation. Based on our BiSR-Conv, we customize four binarized convolutional modules to address the dimension mismatch and propagate full-precision information throughout the whole network. Finally, our BiSRNet is derived by using the proposed techniques to binarize the base model. Comprehensive quantitative and qualitative experiments manifest that our proposed BiSRNet outperforms state-of-the-art binarization methods and achieves comparable performance with full-precision algorithms. Code and models are publicly available at https://github.com/caiyuanhao1998/BiSCI and https://github.com/caiyuanhao1998/MST

研究の動機と目的

• リソース制限下のデバイスにおけるスナップショット圧縮イメージング（SCI）での効率的なHSI再構築を動機づける。
• エッジ展開に適したコンパクトでバイナリ化可能なベースモデルを設計する。
• スペクトル表現をバイナリ化前に適応させ、Sign 関数の近似を改善する BiSR-Conv を開発する。
• 次元変化にもかかわらず全精度情報フローを保持する四つのバイナリ化モジュールを作成する。
• BiSRNet が最先端のバイナリ化手法を上回り、HSI再構築においてフル精度CNNと競合することを示す。

提案手法

• バイナリ化のためのコンパクトなU字型基盤モデル（エンコーダー–ボトルネック–デコーダー）を提案し、28スペクトルチャンネル上で動作させる。
• スペクトル再分配 BiSR-Conv を導入し、Sign に基づくバイナリ化の前にスペクトル再分配 X_r = k * X_f + b を適用する。
• バックプロパゲーション中に Sign を近似するため、スケーラブルな双曲正接関数 Tanh(αx) を使用し、α は学習される。
• バイナリ化層を介して全精度情報を伝搬させるための RPReLU ベースの結合によるバイパス残差経路を組み込む。
• 次元不整合を軽減しつつ全 Precision 情報フローを保持する4つのバイナリ化モジュール（ダウンサンプリング、アップサンプリング、fusion down、fusion up）を構築する。
• 全体のネットワークを BiSR-Conv で標準畳み込みを置換し、基盤モデルの E、B、D に四つのバイナリ化モジュールを適用してバイナリ化を実現する。

実験結果

リサーチクエスチョン

• RQ1 エッジデバイス上で圧縮 SCI 測定から HSI キューブを効率よく再構成できるバイナリ化ネットワークは、精度の大きな損失なく実現できるか。
• RQ2 スペクトル帯域ごとの密度変動をバイナリ化フレームワーク内でどのように適応させるか。
• RQ3 スケーラブルなシグモイド様演算子（Tanh(αx)）は、バイナリ化スペクトルイメージングの文脈で Sign のバックプロパゲーションの代理としてより適しているか。
• RQ4 ダウンサンプリング/アップサンプリングにおける次元不一致をどのように処理して、バイナリ化HSIネットワークで全精度情報フローを保持するか。
• RQ5 BiSRNet は最先端のバイナリ化ネットワークおよびフル精度 CNN に対してHSI再構築タスクでどのように比較されるか。

主な発見

ビット	カテゴリ	Params (K)	OPs (G)	S1 PSNR	S1 SSIM	S2 PSNR	S2 SSIM	S3 PSNR	S3 SSIM	S4 PSNR	S4 SSIM	S5 PSNR	S5 SSIM	S6 PSNR	S6 SSIM	S7 PSNR	S7 SSIM	S8 PSNR	S8 SSIM	S9 PSNR	S9 SSIM	S10 PSNR	S10 SSIM	平均 PSNR	平均 SSIM
1	BNN	36	1.18	30.95	0.847	29.21	0.791	29.11	0.828	35.91	0.903	28.19	0.827	30.22	0.863	27.85	0.800	29.46	0.832	27.88	0.800	29.76	0.837

• BiSRNet はシミュレーション試験で最先端のバイナリ化ニューラルネットワークを大きく上回る。
• BiSRNet はフル精度CNNベースの手法と同等の性能を達成しつつ、メモリと計算を大幅に低く抑えている。
• スペクトル再分配とスケーラブルな Tanh(αx) を備えた BiSR-Conv ユニットは、Clip/Quad 近似と比較して PSNR/SSIM を大幅に改善する。
• 四つのバイナリ化モジュール（ダウンサンプリング、アップサンプリング、fusion down、fusion up）は層間の全精度情報フローを遮らず、次元不一致の問題を緩和する。
• アブレーション研究では BiSR-Conv とスペクトル再分配、Tanh(αx) の組み合わせが最大の性能向上をもたらす（例: baselines に対して PSNR が最大約3.0 dB 向上）。
• KAIST の実データ/シミュレーションデータでは、BiSRNet は七つの1ビット BNN 手法を上回る PSNR/SSIM を達成し、多くのシナリオで32ビット手法に近づくまたは一致する。
• この手法は追加パラメータが最小で、OPs も低く抑えられており、モバイル展開の可能性を示唆する。