[論文レビュー] A Provably Convergent Scheme for Compressive Sensing under Random Generative Priors

Wen Huang, Paul Hand+2 more|arXiv (Cornell University)|Dec 11, 2018

Sparse and Compressive Sensing Techniques参考文献 18被引用数 17

ひとこと要約

本稿では、ランダムな深層生成モデルを用いた圧縮センシングにおける、理論的に収束が保証される勾配降下法を提案する。生成モデルにやや広い層とガウス分布をした重みを課す弱い条件下でも、真の信号へとノイズレベルまで収束することを保証し、サンプル複雑度は潜在次元に対して線形にスケーリングされる。これは、生成モデルに基づく効率的回復において、初めての理論的保証である。

ABSTRACT

Deep generative modeling has led to new and state of the art approaches for enforcing structural priors in a variety of inverse problems. In contrast to priors given by sparsity, deep models can provide direct low-dimensional parameterizations of the manifold of images or signals belonging to a particular natural class, allowing for recovery algorithms to be posed in a low-dimensional space. This dimensionality may even be lower than the sparsity level of the same signals when viewed in a fixed basis. What is not known about these methods is whether there are computationally efficient algorithms whose sample complexity is optimal in the dimensionality of the representation given by the generative model. In this paper, we present such an algorithm and analysis. Under the assumption that the generative model is a neural network that is sufficiently expansive at each layer and has Gaussian weights, we provide a gradient descent scheme and prove that for noisy compressive measurements of a signal in the range of the model, the algorithm converges to that signal, up to the noise level. The scaling of the sample complexity with respect to the input dimensionality of the generative prior is linear, and thus can not be improved except for constants and factors of other variables. To the best of the authors' knowledge, this is the first recovery guarantee for compressive sensing under generative priors by a computationally efficient algorithm.

研究の動機と目的

• 深層生成モデルに基づく圧縮センシングにおける理論的ギャップを埋め、計算的に効率的で、回復保証が保証されたアルゴリズムを提供すること。
• 十分に広い層とi.i.d.ガウス重みを持つランダムな生成モデルのもとで、経験的リスク関数に対する勾配降下が真の信号に収束することを確立すること。
• サンプル複雑度が生成モデルの潜在次元に対して線形にスケーリングされることを示すこと。これは定数を除いて最適である。
• 真の信号の近傍への収束を証明し、その近傍の大きさがノイズレベルにのみ依存することを示すこと。ノイズなしの場合には正確な回復が達成される。

提案手法

• 深層生成モデルのもとでの圧縮センシングにおける経験的リスク関数を最小化する勾配降下法を提案する。
• 生成ネットワークの各層が十分に広く、i.i.d.ガウス重みを持つと仮定したもとで、最適化の形状を分析する。
• 測定演算子Aが生成信号上でどのように振る舞うかを制御するために、制限付きランダム等長性条件（RRIC）を用いる。
• 真の潜在コードx*の周囲における生成モデルGの局所線形化を、重み行列の積W_{i,+,x}を用いて行う。
• 集中不等式と摂動解析を用いて、経験的リスク関数の勾配に対する境界を導出し、期待勾配からの逸脱を制御する。
• ノイズを考慮した解析を導入し、反復がグローバル最小値の近傍に収束することを示す。その近傍の半径はノイズレベルに比例する。

実験結果

リサーチクエスチョン

• RQ1 信号が深層生成モデルの像に属する場合、計算的に効率的なアルゴリズムが、圧縮測定値から信号を理論的に再構成できるか？
• RQ2 このような再構成における最適なサンプル複雑度は何か？ そして、勾配ベースの手法によって達成可能か？
• RQ3 ランダムな生成モデルに基づく非凸な経験的リスク関数に対して、勾配降下法が偽の局所最小値を避けるか？
• RQ4 ノイズレベルは回復アルゴリズムの収束精度にどのように影響するか？

主な発見

• 提案された勾配降下法は、真の信号の近傍に収束し、その近傍の大きさはノイズレベルによって上限づけられる。これによりノイズ耐性の回復が保証される。
• ノイズなしの場合、アルゴリズムは正確にグローバル最小値に収束し、正確な回復が達成される。
• サンプル複雑度は生成モデルの潜在次元dに対して線形にスケーリングされ、定数を除いて最適であり、対数的要因を除いて最適である。
• 解析は弱い仮定のもとで成立する：生成モデルはi.i.d.ガウス重みをもつ深層ReLUネットワークであり、層の幅は深さに適切に増加する。
• 反復がノイズが有界で、測定回数が十分に多い場合、勾配の新たな摂動解析により、真の信号に近い位置に保たれることを示した。
• 数値実験により、理論的予測と整合するノイズレベルまでの回復が実証され、理論的主張が妥当であることが確認された。