[論文レビュー] Using auto-encoders for solving ill-posed linear inverse problems

Shirin Jalali, Xin Yuan|arXiv (Cornell University)|Jan 15, 2019

Sparse and Compressive Sensing Techniques参考文献 19被引用数 4

ひとこと要約

本稿では、生成モデルであるトレーニング済みオートエンコーダーを用いて、不適切に定義された線形逆問題を解くための新しい圧縮センシング復元手法を提案する。信号の潜在空間における射影勾配降下最適化として復元を定式化することで、$m > 2k$ の条件下で正確な復元が保証され、再構成誤差は生成モデルの近似誤差によって上限が定められる。

ABSTRACT

Compressed sensing algorithms recover a signal from its under-determined linear measurements by exploiting its structure. Starting from sparsity, recovery methods have steadily moved towards more complex structures. Recently, the emerging machine learning techniques, especially the generative models based on neural nets, potentially, can learn general complex structures. Inspired by the success of such models in various computer vision tasks, researchers in compressed sensing have recently started to employ them to design efficient recovery methods. Consider a generative model defined as function $g:{\cal U}^k o{R}^n$, ${\cal U}\subset{R}$. Assume that the function $g$ is trained such that it can describe a class of desired signals ${\cal Q}\subset{R}^n$. The standard problem in noiseless compressed sensing is to recover ${\bf x}\in{\cal Q}$ from under-determined linear measurements ${\bf y}=A{\bf x}$, where ${\bf y}\in{R}^m$ and $m\ll n$. A recovery method based on $g$ finds $g({\bf u})$, $\in{\cal U}^k$, which has the minimum measurement error. In this paper, the performance of such a recovery method is studied and it is proven that, if the number of measurements ($m$) is larger than twice the dimension of the generative model ($k$), then ${\bf x}$ can be recovered from ${\bf y}$, with a distortion that is a function of the distortion induced by $g$ in describing $\bf x$, i.e. $\min_{{\bf u}\in{\cal U}^k}\|g({\bf u})-{\bf x}\|$. To derive an efficient method, an algorithm based on projected gradient descent is proposed. It is proven that, given enough measurements, the algorithm converges to the optimal solution and is robust to measurement noise. Numerical results showing the effectiveness of the proposed method are presented.

研究の動機と目的

• 圧縮センシングにおける不適切に定義された線形逆問題を、深層生成モデルを用いて解決すること。
• 測定値が不定である状況下で、信号が正確に復元可能な理論的条件を確立すること。
• 潜在空間の復元に適した、射影勾配降下に基づく効率的な最適化アルゴリズムを開発すること。
• 測定ノイズに対する本手法の耐性を証明すること。

提案手法

• 本手法は、信号を低次元の潜在空間 $\mathcal{U}^k$ に表現するため、トレーニング済みの生成モデル $g: \mathcal{U}^k \to \mathbb{R}^n$ を用いる。
• 復元は、潜在コード $\mathbf{u} \in \mathcal{U}^k$ における測定誤差 $\|A g(\mathbf{u}) - \mathbf{y}\|$ の最小化として定式化される。
• 反復的射影勾配降下アルゴリズムが最適化問題を解くために提案され、各ステップで解を潜在空間に再投影する。
• 測定数 $m$ が潜在次元 $k$ の2倍を超える場合、アルゴリズムは最適解に収束することが証明されている。
• 同じ理論的条件下で、加法的測定ノイズに対しても本手法が耐性を示すことが示された。
• 本手法は、単純なスパarsityを越えた複雑な信号構造を捉えることができる、深層生成モデルの表現力を利用する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルを用いて、不定な測定から信号を正確に復元可能な条件は何か？
• RQ2 再構成誤差は、生成モデルが真の信号をどれだけ正確に表現できるかにどのように依存するか？
• RQ3 理論的収束保証を持つ、潜在空間の復元に適した効率的な最適化アルゴリズムを設計できるか？
• RQ4 測定ノイズが存在する状況下で、本手法はどのように性能を発揮するか？
• RQ5 安定的かつ正確な復元に必要な最小測定数は何か？

主な発見

• 理論的解析により、$m > 2k$ の条件下で正確な復元が可能であることが証明された。ここで $m$ は測定数、$k$ は生成モデルの潜在次元である。
• 再構成誤差は生成モデルの近似誤差、すなわち $\min_{\mathbf{u}} \|g(\mathbf{u}) - \mathbf{x}\|$ によって上限が定められ、真の信号への忠実度が保証される。
• 射影勾配降下アルゴリズムは、$m > 2k$ 条件を満たす場合、最適解に収束することが証明された。
• 本手法は測定ノイズに対して耐性を示し、誤差の増大が有界な範囲に抑えられる安定した性能を維持する。
• 数値実験により、従来のスパarsityに基づく手法よりも少ない測定数で信号を効果的に復元できることが示された。
• 本手法は、オートエンコーダーが学習したデータ駆動型の複雑な信号構造を活用することで、古典的な圧縮センシング手法を上回る性能を発揮する。