[論文レビュー] A Deep Learning Approach to Block-based Compressed Sensing of Images

Amir Adler, David Boublil+2 more|arXiv (Cornell University)|Jun 5, 2016

Sparse and Compressive Sensing Techniques参考文献 16被引用数 36

ひとこと要約

本稿では、ブロックベースの圧縮センシング（BCS）のセンシング行列と非線形再構成を、完全結合ニューラルネットワークを用いて同時に最適化する深層学習フレームワークを提案する。25%の測定率において、最先端の画像再構成品質を達成し、従来手法よりも200倍以上高速な計算を実現し、PSNRで0.77 dBの向上と、フル画像TVベースのCSに比べ1600倍の高速化を達成した。

ABSTRACT

Compressed sensing (CS) is a signal processing framework for efficiently reconstructing a signal from a small number of measurements, obtained by linear projections of the signal. Block-based CS is a lightweight CS approach that is mostly suitable for processing very high-dimensional images and videos: it operates on local patches, employs a low-complexity reconstruction operator and requires significantly less memory to store the sensing matrix. In this paper we present a deep learning approach for block-based CS, in which a fully-connected network performs both the block-based linear sensing and non-linear reconstruction stages. During the training phase, the sensing matrix and the non-linear reconstruction operator are \emph{jointly} optimized, and the proposed approach outperforms state-of-the-art both in terms of reconstruction quality and computation time. For example, at a 25% sensing rate the average PSNR advantage is 0.77dB and computation time is over 200-times faster.

研究の動機と目的

• 高解像度の画像や動画におけるフル画像圧縮センシング（CS）の高いメモリ使用量と計算コストを低減すること。
• ブロックベースCS（BCS）における再構成品質と速度を、センシング行列と非線形再構成演算子を同時に学習することで向上させること。
• 固定変換を用い、センシングと再構成の段階を別々に処理する従来のBCS手法の制限を克服すること。
• エンドツーエンドの深層学習が、PSNRと計算時間の両面で古典的手法および最先端のBCS手法を顕著に上回ることを示すこと。

提案手法

• 完全結合型の深層ニューラルネットワークを用い、ブロックベースCSにおける線形センシング行列と非線形再構成演算子を同時に学習する。
• ネットワークは16×16ピクセルの画像パッチを処理し、センシング変換を適用した後、多層非線形再構成を実行する。
• バックプロパゲーションを用いて、手作業で設計された変換を一切必要とせず、センシング行列と再構成重みを同時に最適化する。
• 学習には500万枚の画像パッチからなる大規模データセットを用い、再構成済みパッチと元のパッチとの間のL1損失を最小化する。
• ブロックごとに独立して再構成を行い、その後連結し、ブロッキングアーチファクトを低減するための平滑化フィルタを適用する。
• アーキテクチャには再冗長性係数（T）と可変な隠れ層の数（K）が含まれており、アンブレーションスタディーを用いてハイパーパrameterを最適化する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、ブロックベースの圧縮センシングにおいて、センシング行列と再構成演算子を同時に最適化することで、古典的手法および最先端手法を上回ることができるか？
• RQ2 ブロックサイズ、ネットワークの再冗長性、隠れ層の数の選択が、BCSにおける再構成品質と計算効率にどのように影響するか？
• RQ3 エンドツーエンドの深層学習は、計算時間の短縮を図りながら、PSNRとSSIMの両面で、圧縮画像再構成の性能をどの程度向上させられるか？
• RQ4 特に低測定率において、本手法はフル画像Total VariationベースのCSよりも優れた性能を達成するか？

主な発見

• 25%の測定率において、本手法は平均PSNR 32.15 dB、SSIM 0.976を達成し、次に優れた手法（MH-MS-BCS-SPL）に比べ0.77 dBのPSNR向上を達成した。
• R=0.25において、本手法は最先端のMH-MS-BCS-SPL手法よりも200倍以上高速であり、1枚の512×512画像あたり0.80秒の計算時間であった。
• フル画像Total VariationベースのCSに比べ、1600倍の高速化を達成した。同じ画像サイズと測定率で、同手法は1675.09秒を要した。
• アンブレーションスタディーの結果、ブロックサイズ16×16、再冗長性T=8、隠れ層2層が最適な性能を達成した。
• 視覚的比較では、すべてのベースラインと比較して、ブロッキングアーチファクトが低減され、細かいディテールの保持が優れていた。
• 「lena」、「barbara」、「cameraman」、「boats」などの多様なテスト画像において、測定率0.1から0.3の全範囲で一貫した性能向上を示した。