[論文レビュー] ReconNet: Non-Iterative Reconstruction of Images from Compressively Sensed Random Measurements

Kuldeep Kulkarni, Suhas Lohit+3 more|arXiv (Cornell University)|Jan 26, 2016

Sparse and Compressive Sensing Techniques参考文献 33被引用数 40

ひとこと要約

本稿では、圧縮感知（CS）測定値から直接写真を再構成する非反復型畳み込みニューラルネットワーク（CNN）であるReconNetを提案する。この手法は、CS測定値から中間再構成への直接的なマッピングを学習し、その後、市販のノイズ除去フィルタ（例：BM3D）を用いて精練する。本手法は、1%の測定率（0.01 MR）でも最先端のPSNR性能とリアルタイム性能を達成し、視覚的トラッキングの強力な実装を可能にする。

ABSTRACT

The goal of this paper is to present a non-iterative and more importantly an extremely fast algorithm to reconstruct images from compressively sensed (CS) random measurements. To this end, we propose a novel convolutional neural network (CNN) architecture which takes in CS measurements of an image as input and outputs an intermediate reconstruction. We call this network, ReconNet. The intermediate reconstruction is fed into an off-the-shelf denoiser to obtain the final reconstructed image. On a standard dataset of images we show significant improvements in reconstruction results (both in terms of PSNR and time complexity) over state-of-the-art iterative CS reconstruction algorithms at various measurement rates. Further, through qualitative experiments on real data collected using our block single pixel camera (SPC), we show that our network is highly robust to sensor noise and can recover visually better quality images than competitive algorithms at extremely low sensing rates of 0.1 and 0.04. To demonstrate that our algorithm can recover semantically informative images even at a low measurement rate of 0.01, we present a very robust proof of concept real-time visual tracking application.

研究の動機と目的

• 圧縮感知（CS）のための非反復的で計算効率の良い画像再構成アルゴリズムを開発し、遅い最適化ベースの手法を回避すること。
• 従来のCSアルゴリズムが高レベルのビジョンタスクに失敗するような極めて低い測定率（例：0.01）でも、高品質な画像再構成を実現すること。
• CS再構成が、オブジェクトトラッキングなどのリアルタイム高レベルビジョン応用に適した十分な意味的コンテンツを保持できることを示すこと。
• ブロック単一ピクセルカメラ（SPC）からの実データを用いて、センサーノイズに対する耐性を検証すること。

提案手法

• 圧縮感知された画像ブロック（例：33×33）を、ランダムプロジェクションから中間再構成へ直接マップする新しいCNNアーキテクチャ、ReconNetを提案する。
• ブロックベース処理戦略を採用：入力のCS測定値を重複のないブロックに分割し、各ブロックをReconNetで独立に再構成する。
• ブロック単位のReconNet出力を統合して全画像を構成し、その後、市販のノイズ除去フィルタ（例：BM3D）を用いて最終的な品質を向上させる。
• 直交化されたランダムガウス行列を用いて、さまざまな測定率（MR）（0.1、0.04、0.01を含む）でのシミュレーテッドCS測定値を用いてReconNetを訓練する。
• 実世界のブロックSPCテストベッドを用いて、センサーノイズ下での定性的な妥当性を検証する実測定値を収集する。
• ReconNetをカーネル化された相関フィルタ（KCF）トラッカーと統合し、0.01 MRでのCS動画上でリアルタイムの視覚的トラッキングを実現する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの非反復的手法が、低測定率において、最先端の反復的CS再構成アルゴリズムをPSNRと計算速度の両面で上回ることができるか？
• RQ2 極めて低い測定率（例：0.01）でも、CS再構成が高レベルビジョンタスクをサポートするのに十分な意味的コンテンツを保持できるか？
• RQ3 実用的なCS画像撮影システムにおけるセンサーノイズや実際の測定アーチファクトに対して、本手法はどれほど耐性があるか？
• RQ4 完全な画像再構成なしに、CS測定値から直接リアルタイムの高レベルビジョンタスク（例：オブジェクトトラッキング）を実行することは可能か？

主な発見

• 測定率が0.1未満の範囲で、ReconNetは最先端の反復的アルゴリズム（例：TVAL3、D-AMP）よりも顕著に高い平均PSNRを達成する。
• 測定率0.01でも、ReconNetは15–20 dBのPSNRを達成し、高レベルビジョンタスクに十分な意味的コンテンツを保持している。
• ブロックSPCからの実データにおける定性的な結果では、MRが0.1および0.04の状況で、TVAL3やD-AMPと比較してReconNetが視覚的に優れた再構成を生成している。
• ReconNet+KCFパイプラインは、0.01 MRでの動画で10–56 FPSのリアルタイム性能を達成し、リアルタイムでのオブジェクトトラッキングを可能にする。
• 20ピixelの位置誤差閾値において、ReconNet+KCFは平均精度65.02%を達成し、低測定率であるにもかかわらず実用的価値を示している。
• 本手法はセンサーノイズに対して強く、物理的SPCデータを用いた検証により、実世界の画像撮影条件にも良好に一般化することが確認された。