[論文レビュー] Deep Networks for Compressed Image Sensing

Wuzhen Shi, Feng Jiang+2 more|arXiv (Cornell University)|Jul 22, 2017

Sparse and Compressive Sensing Techniques参考文献 7被引用数 7

ひとこと要約

本稿では、圧縮画像センシングのための最適化されたサンプリング行列と深層再構成ネットワークを同時に学習する深層学習フレームワーク、CSNetを提案する。エンド・ツー・エンドの訓練により、CSNetは再構成品質（PSNRが最大3.91 dB高い）および速度（1枚あたり0.15秒未塔）の両面で最先端の手法を上回り、優れた画像忠実度とエッジ保持を実現したリアルタイム性能を達成する。

ABSTRACT

The compressed sensing (CS) theory has been successfully applied to image compression in the past few years as most image signals are sparse in a certain domain. Several CS reconstruction models have been recently proposed and obtained superior performance. However, there still exist two important challenges within the CS theory. The first one is how to design a sampling mechanism to achieve an optimal sampling efficiency, and the second one is how to perform the reconstruction to get the highest quality to achieve an optimal signal recovery. In this paper, we try to deal with these two problems with a deep network. First of all, we train a sampling matrix via the network training instead of using a traditional manually designed one, which is much appropriate for our deep network based reconstruct process. Then, we propose a deep network to recover the image, which imitates traditional compressed sensing reconstruction processes. Experimental results demonstrate that our deep networks based CS reconstruction method offers a very significant quality improvement compared against state of the art ones.

研究の動機と目的

• 圧縮センシングにおける2つの核心的課題、すなわち最適なサンプリング行列設計と高速かつ高品質な画像再構成を解決すること。
• 従来の手作業で設計されたサンプリング行列（例：ガウス分布またはトーペリッツ行列）を、データ駆動型の学習可能な代替手法に置き換えること。
• 従来のCS再構成プロセスを模倣するが、優れた性能を達成する高速なエンド・ツー・エンドの深層ネットワークを開発すること。
• 実用的応用に適した高品質な再構成性能を備えたリアルタイム圧縮画像センシングを可能にすること。

提案手法

• 3部構成の深層ネットワークアーキテクチャ：(1) 伝統的な固定されたサンプリング行列に代わる学習可能なサンプリングサブネットワーク。
• 圧縮測定値から高速かつ粗い再構成を実行する初期再構成サブネットワーク。
• 残差学習とスキップ接続を用いて反復的に画像を精緻化する深層再構成サブネットワーク。
• 教師あり損失関数を用いて、実際の画像（グランド・トゥース）に基づいてエンド・ツー・エンドで訓練される。
• バックプロパゲーション中にサンプリング行列が最適化され、ネットワークがデータ分布に適応可能になる。
• ブロック圧縮センシングおよびスムーズ化されたプロジェクション・ランドハーバー法を想起させるアーキテクチャであり、反復的精緻化を深層学習フレームワークに統合している。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、圧縮センシングにおける最適なサンプリング行列と画像再構成プロセスを同時に学習できるか？
• RQ2 学習可能なサンプリング行列は、従来のランダムまたは構造的行列よりも画像再構成品質で優れているか？
• RQ3 深層学習ベースの再構成手法は、高いPSNR/SSIMとリアルタイム推論速度の両方を達成できるか？
• RQ4 本手法は、最先端のCS手法と比較して、再構成品質および計算効率の面で優れているか？

主な発見

• CSNetは、0.1～0.5の全サンプリング比において、Set5およびSet14の両データセットで最高のPSNRおよびSSIMを達成した。
• 0.1のサンプリング比でSet5を用いた場合、CSNetは前回のSOTA手法であるGSRに対して2.31 dBのPSNR向上を達成した。
• Set14では、CSNetはDWTに対して平均3.91 dB、TVに対して3.71 dB、MHに対して2.60 dBのPSNR向上を達成した。
• CSNetは1枚あたり0.15秒未塔で実行され、GSR（883秒）およびMH（52秒）よりも顕著に高速であり、リアルタイム応用を可能にした。
• 視覚的結果から、CSNetは競合手法と比較して、より鋭いエッジと繊細な画像ディテールを保持していることが示された。
• より深く広いネットワークバージョン（10層、d=128）は、PSNRおよびSSIMをさらに向上させ、性能向上のための容量の増大が有効であることを確認した。