[論文レビュー] Image Restoration from Patch-based Compressed Sensing Measurement

Guangtao Nie, Ying Fu+2 more|arXiv (Cornell University)|Jun 2, 2017

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本稿では、パッチベースの圧縮センシング（CS）測定値から画像復元を行う非反復的でディープラーニングベースの手法を提案する。この手法は、パッチベースのCS再構成で一般的なブロックノイズを効果的に低減し、合成データおよび実データの両方で最先端の手法を上回る高い速度と優れた性能を達成する。

ABSTRACT

A series of methods have been proposed to reconstruct an image from compressively sensed random measurement, but most of them have high time complexity and are inappropriate for patch-based compressed sensing capture, because of their serious blocky artifacts in the restoration results. In this paper, we present a non-iterative image reconstruction method from patch-based compressively sensed random measurement. Our method features two cascaded networks based on residual convolution neural network to learn the end-to-end full image restoration, which is capable of reconstructing image patches and removing the blocky effect with low time cost. Experimental results on synthetic and real data show that our method outperforms state-of-the-art compressive sensing (CS) reconstruction methods with patch-based CS measurement. To demonstrate the effectiveness of our method in more general setting, we apply the de-block process in our method to JPEG compression artifacts removal and achieve outstanding performance as well.

研究の動機と目的

• パッチベースの測定値に対する従来の圧縮センシング再構成手法の高い時間計算量とブロックノイズの問題を解決すること。
• パッチ単位のCS測定値からフル画像を効率的に再構成するエンドツーエンドの画像復元フレームワークを開発すること。
• 反復的手法と比較して計算コストを低減しながら、再構成品質を維持または向上させること。
• デブロッキングモジュールをJPEGアーティファクト除去に応用することで汎用性を示すこと。

提案手法

• 本手法は、パッチベースの圧縮センシング測定値からエンドツーエンドの画像復元を学習する2段階の残差畳み込みニューラルネットワーク（ResNet）を用いる。
• 最初のネットワークは、学習された残差マッピングを活用して、圧縮測定値から個々の画像パッチを再構成する。
• 2番目のネットワークは、再構成されたパッチを精緻化し、ブロックノイズを低減して視覚的品質を向上させる。
• アーキテクチャは非反復的であるため、従来の最適化ベースのCS手法と比較して高速な推論が可能で、時間コストが低い。
• デブロッキングモジュールは、CSに限らず一般化できるように訓練されており、JPEGアーティファクト除去に対しても優れた性能を示す。
• モデルは、圧縮測定値と真値画像のペairedデータを用いた教師あり学習によりエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 非反復的でディープラーニングベースのアプローチは、計算コストを低く抑えながらパッチベースの圧縮センシング測定値からの画像復元を効果的に行えるか？
• RQ2 2段階のCNNアーキテクチャは、パッチベースのCS再構成におけるブロックノイズをどれほど効果的に低減できるか？
• RQ3 CS再構成のために開発されたデブロッキングモジュールは、JPEG圧縮アーティファクトなど他の劣化タイプに対しても一般化できるか？
• RQ4 提案手法は、定量的および定性的に最先端のCS再構成技術と比較してどのように優れているか？

主な発見

• 提案手法は、合成データおよび実世界のパッチベースCS測定値の両方で、最先端の手法を上回る優れた再構成品質を達成した。
• パッチベースCS再構成に一般的に見られるブロックノイズを顕著に低減し、視覚的忠実度を向上させた。
• 非反復的設計のおかげで時間計算量が低く抑えられ、高速な推論が可能となった。
• デブロッキングモジュールは非常に良好に一般化され、JPEG圧縮アーティファクトの除去において優れた性能を示した。
• 定量的評価では、ベンチマークデータセット上で既存手法と比較してPSNRおよびSSIMの値が向上した。
• 本手法は強力な一般化性能を示し、合成データにとどまらず、実データでも優れた性能を発揮した。