[論文レビュー] ConvCSNet: A Convolutional Compressive Sensing Framework Based on Deep Learning

Xiaotong Lu, Weisheng Dong+3 more|arXiv (Cornell University)|Jan 31, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用数 27

ひとこと要約

本稿では、ブロック単位の測定ではなく、学習可能な畝込みフィルタを用いて一枚の画像を一括して測定・再構成する深層学習ベースの畝込み圧縮センシングフレームワーク、ConvCSNetを提案する。エンド・ツー・エンドの訓練により、測定フィルタと二本のブランチを持つCNN再構成ネットワークを同時に最適化することで、従来の手法に比べて1,030倍以上高速な推論と著しく少ないブロッキングアーティファクトを実現し、複数のデータセットおよびノイズレベルにおいてPSNRと視覚的品質の両面で最先端のCS技術を上回る再構成品質を達成する。

ABSTRACT

Compressive sensing (CS), aiming to reconstruct an image/signal from a small set of random measurements has attracted considerable attentions in recent years. Due to the high dimensionality of images, previous CS methods mainly work on image blocks to avoid the huge requirements of memory and computation, i.e., image blocks are measured with Gaussian random matrices, and the whole images are recovered from the reconstructed image blocks. Though efficient, such methods suffer from serious blocking artifacts. In this paper, we propose a convolutional CS framework that senses the whole image using a set of convolutional filters. Instead of reconstructing individual blocks, the whole image is reconstructed from the linear convolutional measurements. Specifically, the convolutional CS is implemented based on a convolutional neural network (CNN), which performs both the convolutional CS and nonlinear reconstruction. Through end-to-end training, the sensing filters and the reconstruction network can be jointly optimized. To facilitate the design of the CS reconstruction network, a novel two-branch CNN inspired from a sparsity-based CS reconstruction model is developed. Experimental results show that the proposed method substantially outperforms previous state-of-the-art CS methods in term of both PSNR and visual quality.

研究の動機と目的

• ブロック単位の圧縮センシング（BCS）手法に内在する独立した画像ブロック処理に起因するブロッキングアーティファクトを解消すること。
• 従来の圧縮センシング（CS）フレームワークにおける全画像ランダム測定行列の高いメモリ使用量と計算コストを克服すること。
• 測定と再構成の両方を共同最適化する深層学習ベースのCSフレームワークを構築し、速度と正確性を向上させること。
• スパarsityに基づくCS再構成モデルにインspiredされた、新たな二本のブランチを持つCNNアーキテクチャを設計し、画像回復を強化すること。
• 低レートの測定からリアルタイムかつ高忠実度の画像再構成を実現し、視覚的品質を損なわずに行うこと。

提案手法

• ブロック単位のガウス確率的測定を、学習可能なフィルタを用いた畝込み層に置き換え、一枚の画像を一度の操作で測定する。
• 測定操作は共有された小型フィルタを用いた線形畝込みとして実装され、メモリ使用量の削減と計算の効率化を実現する。
• 再構成のための二本のブランチを持つCNNを設計し、一方のブランチはスパarsity事前分布をモデル化し、他方のブランチは残差特徴を学習する。これは従来のスパarsityに基づくCSソルバを模倣する。
• ネットワーク全体をエンド・ツー・エンドで訓練し、畝込み測定フィルタと再構成ネットワークのパラメータを同時に最適化する。
• 大規模な測定行列を保存しないようにし、小型で学習可能なフィルタを用いることで、標準的なハードウェア上でのデプロイが可能になる。
• 畝込みの後にサブサンプリングを施すことで、測定次元を低減し、圧縮センシングの原則を維持しながらも、全画像再構成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 一枚の画像全体に対して圧縮センシングを実行する畝込みニューラルネットワークフレームワークを設計できるか？ これにより、ブロッキングアーティファクトが解消されるか？
• RQ2 CNNのエンド・ツー・エンド訓練により、測定フィルタと再構成ネットワークを同時に最適化することで、再構成品質と速度が向上するか？
• RQ3 スパarsityに基づくCSモデルからのドメイン知識を深層学習アーキテクチャに組み込むことで、完全に学習されたエンド・ツー・エンド手法よりも優れた性能が得られるか？
• RQ4 提案手法は、最先端の最適化ベースおよび深層学習ベースのCS手法と比較して、PSNR、視覚的品質、推論速度の観点でどのように差をつけるか？
• RQ5 提案フレームワークは非常に低い測定レート（例：5％）でも高い性能を維持できるか？ また、アーティファクトを回避できるか？

主な発見

• ノイズなし条件下で5％の測定レートでBSD100データセットに対して26.47 dBのPSNRを達成し、次に優れた手法（FCN-CS）の0.55 dB上回る。
• 10％の測定レートでBSD100データセットに対して28.19 dBのPSNRを達成し、D-AMP（27.66 dB）とFCN-CS（27.54 dB）を上回る。
• ノイズあり測定条件下で10％のレートでBSD100データセットに対して28.09 dBのPSNRを達成し、D-AMP（23.72 dB）とFCN-CS（27.29 dB）を著しく上回る。
• GPU上での255×255画像の再構成に0.08秒を要し、TVベース手法（82.47秒）の1,030倍、D-AMP（60.79秒）の760倍高速である。
• 視覚的比較では、5％の測定レートでもConvCSNetは極めて少ないアーティファクトを生成する一方、他の手法は重度のブロッキングとぼやけを示す。
• アブレーションスタディにより、提案された二本のブランチ再構成ネットワークが不可欠であることが確認され、その欠如によるベースラインバージョンはPSNRで最大0.3 dB劣る。