[論文レビュー] Learning to Invert: Signal Recovery via Deep Convolutional Networks

Ali Mousavi, Richard G. Baraniuk|arXiv (Cornell University)|Jan 14, 2017

Sparse and Compressive Sensing Techniques参考文献 14被引用数 37

ひとこと要約

この論文では、圧縮センシングの測定値を高品質な信号再構成に逆写像する深層畳み込みニューラルネットワークであるDeepInverseを提案する。データに適応するスパース表現と効率的な逆写像を同時に学習することにより、従来のアルゴリズムと比較して最大300倍高速な性能を達成し、最小限の遅延でリアルタイムの信号再構成を可能にする。

ABSTRACT

The promise of compressive sensing (CS) has been offset by two significant challenges. First, real-world data is not exactly sparse in a fixed basis. Second, current high-performance recovery algorithms are slow to converge, which limits CS to either non-real-time applications or scenarios where massive back-end computing is available. In this paper, we attack both of these challenges head-on by developing a new signal recovery framework we call {\em DeepInverse} that learns the inverse transformation from measurement vectors to signals using a {\em deep convolutional network}. When trained on a set of representative images, the network learns both a representation for the signals (addressing challenge one) and an inverse map approximating a greedy or convex recovery algorithm (addressing challenge two). Our experiments indicate that the DeepInverse network closely approximates the solution produced by state-of-the-art CS recovery algorithms yet is hundreds of times faster in run time. The tradeoff for the ultrafast run time is a computationally intensive, off-line training procedure typical to deep networks. However, the training needs to be completed only once, which makes the approach attractive for a host of sparse recovery problems.

研究の動機と目的

• 現実世界の信号が固定基底において正確にスパースでないという課題に対処すること。これは、古典的圧縮センシングの有効性を制限する要因である。
• 最先端の再構成アルゴリズムの収束が遅いため、リアルタイム応用が制限される問題を克服すること。
• 信号の表現と測定値から信号への逆写像を、エンドツーエンドでトレーニング可能な深層学習フレームワークとして学習すること。
• 計算リソースが制限されている場合やリアルタイム処理が求められる応用において、高速で低遅延の信号再構成を可能にすること。
• 従来のブロックベースの手法とは異なり、任意の（非ブロック型の）測定行列をサポートすることにより、より広範なセンシングシナリオに適用可能になること。

提案手法

• アンダーサンプリングされた測定値 y ∈ ℝᴹ を、再構成信号 x ∈ ℝᴺ にマッピングする深層畳み込みニューラルネットワーク（DCN）を学習し、圧縮センシングプロセスの逆写像を学習する。
• 共有重みを有する畳み込み層とReLU非線形性を用いて、信号の階層的かつ空間的に構造化された表現を学習する。
• 代表的な信号（例：画像）のデータセット上でエンドツーエンドにトレーニングを行い、データに適応するスパース化基底と、グリーディまたは凸最適化アルゴリズムの近似を同時に学習する。
• バックプロパゲーションを用いてネットワーク重みを最適化し、予測値と真値信号間の再構成誤差を最小化する。
• ブロック構造に限定されない、完全な信号センシング行列を扱えるように設計されており、より広範な適用性を実現する。
• トレーニングは一度だけオフラインで実施され、以降の推論は極めて高速であるため、リアルタイムデプロイメントに適している。

実験結果

リサーチクエスチョン

• RQ1 信号が固定基底において正確にスパースでない場合でも、深層畳み込みネットワークが圧縮測定値から信号への有効な逆写像を学習できるか？
• RQ2 学習された逆写像は、圧縮センシングにおける最先端の凸最適化またはグリーディ再構成アルゴリズムの性能をどの程度近似できるか？
• RQ3 特にリアルタイムまたは低遅延応用において、提案手法の推論速度は従来の再構成アルゴリズムと比べてどの程度優れているか？
• RQ4 測定ノイズやアンダーサンプリング比の変動に対して、学習された再構成フレームワークはどの程度頑健か？
• RQ5 代表的なトレーニング分布を備えた場合、再トレーニングを必要とせずに多様な信号タイプに一般化できるか？

主な発見

• DeepInverseは、D-AMP や TV 最小化といった最先端のアルゴリズムと同等の再構成品質を達成し、平均PSNRが最良の手法と1–2 dB以内に収まる。
• アンダーサンプリング比 M/N = 0.1 の場合、DeepInverseの平均再構成時間は1枚あたり0.01秒であり、D-AMP（2.56秒）や他の従来手法と比較して250–300倍高速である。
• 低アンダーサンプリング比（例：M/N = 0.01）では、DeepInverseがD-AMPを上回る再構成成功確率を示し、高圧縮領域でも優れた性能を発揮することが判明した。
• DeepInverseは入力ノイズに対してより高い頑健性を示す：20 dBのノイズ下で平均PSNRは18.70 dBであり、D-AMPの21.14 dBよりも顕著に高い。これは、ノイズ耐性に優れていることを示している。
• 最悪ケースの画像に対しても、DeepInverseは高い再構成品質（PSNR = 13.10 dB）を達成するが、D-AMPの最悪ケース性能は13.19 dBに低下する。これは、多様な入力に対して一貫した性能を発揮していることを示している。
• トレーニング収束は安定しており、初期の学習イテレーションでPSNRが急速に向上し、数エポック経過後にTV最小化やP-AMPを上回る。これは、効果的な最適化が実現されていることを示している。