[論文レビュー] Lower Bounds for Compressed Sensing with Generative Models

Akshay Kamath, Sushrut Karmalkar+1 more|arXiv (Cornell University)|Dec 6, 2019

Sparse and Compressive Sensing Techniques参考文献 8被引用数 9

ひとこと要約

本稿は、生成的モデルを用いた圧縮センシングに対してタイトな下界を確立し、$L$-リプシッツ生成モデルに対しては$\Omega(k\log L)$の測定値が必要であることを証明しており、先行研究の上界と一致する。さらに、2層のReLUニューラルネットワークを構築し、すべての$k$-スパースなベクトルを表現可能であることを示しており、生成的モデルがスパarsityを一般化し、$O(k\log n)$の測定値で効率的な回復を可能にすることを示している。

ABSTRACT

The goal of compressed sensing is to learn a structured signal $x$ from a limited number of noisy linear measurements $y \approx Ax$. In traditional compressed sensing, "structure" is represented by sparsity in some known basis. Inspired by the success of deep learning in modeling images, recent work starting with~\cite{BJPD17} has instead considered structure to come from a generative model $G: \mathbb{R}^k o \mathbb{R}^n$. We present two results establishing the difficulty of this latter task, showing that existing bounds are tight. First, we provide a lower bound matching the~\cite{BJPD17} upper bound for compressed sensing from $L$-Lipschitz generative models $G$. In particular, there exists such a function that requires roughly $Ω(k \log L)$ linear measurements for sparse recovery to be possible. This holds even for the more relaxed goal of \emph{nonuniform} recovery. Second, we show that generative models generalize sparsity as a representation of structure. In particular, we construct a ReLU-based neural network $G: \mathbb{R}^{2k} o \mathbb{R}^n$ with $O(1)$ layers and $O(kn)$ activations per layer, such that the range of $G$ contains all $k$-sparse vectors.

研究の動機と目的

• 信号構造が生成モデル$G:\mathbb{R}^k \to \mathbb{R}^n$として$L$-リプシッツに与えられる場合の情報理論的下界を確立すること。
• 生成的モデルを用いた回復における既存の上界がタイトであるかどうかを、加法的誤差$\delta$が存在する状況でも検証すること。
• 生成的モデルが信号構造の表現としてスパarsityの概念を一般化できるかどうかを調査すること。
• 深さと幅を最小限に抑えたニューラルネットワークアーキテクチャを構築し、その範囲にすべての$k$-スパースなベクトルを含めること。

提案手法

• 通信複雑性の議論を用いて下界を証明し、生成モデル$G$の像に最も近い点からの$\ell_2$回復誤差が$\delta$以内であるような任意のアルゴリズムが、$\Omega(k\log(Lr/\delta))$の測定値を必要とすることを示した。
• すべての$k$-スパースなベクトルが$\mathbb{R}^n$に属するように、$O(kn)$の活性化関数を1層に持つ2層のReLUニューラルネットワーク$G_{\text{sp}}:\mathbb{R}^{2k} \to \mathbb{R}^n$を構築した。
• 三角関数の恒等式とReLU活性化関数の性質を用いて、角度幅$\alpha = \pi/(n+1)$のセクタ内でのみ作動するサブネットワーク$G^+_i$と$G^-_i$を設計し、正確なベクトル再構成を可能にした。
• 各$k$-スパースなベクトルが、$k$個の1スパースなベクトルの和として表現できることを示し、それぞれが構築したネットワーク$G_{\text{sp}}$のコピーによって生成されることを示した。
• [BJPD17]の$O(kd\log W)$の測定値境界を構築したネットワークに適用し、$\ell_2/\ell_2$スパース回復に$O(k\log n)$の測定値で十分であることを示した。

実験結果

リサーチクエスチョン

• RQ1 生成的モデルに基づく圧縮センシングにおける$O(k\log(Lr/\delta))$の測定値境界が、[BJPD17]で示されたものとタイトか？
• RQ2 ReLUベースの生成的モデルを用いる場合、回復保証における加法的誤差$\delta$を回避できるか？
• RQ3 定数の深さと多項式の幅を持つ生成的モデルが、すべての$k$-スパースなベクトルを表現できるか？
• RQ4 生成的モデルフレームワークは、圧縮センシングにおけるスパarsity仮定を厳密に一般化するか？

主な発見

• 本稿は、任意のアルゴリズムが$L$-リプシッツ生成モデル$G$の像に最も近い点からの$\ell_2$回復誤差を$\delta$以内に抑えるためには、$\Omega(\min(k\log(Lr/\delta), n))$の測定値が必要であることを示しており、[BJPD17]の上界と一致する。
• 一般の$L$-リプシッツ生成モデルでは、加法的誤差$\delta$が不可避であることが、下界構築により示されており、非一様回復設定でも同様である。
• 2層のReLUベースのニューラルネットワークで、各層に$O(kn)$の幅を持たせることで、すべての$k$-スパースなベクトルを$\mathbb{R}^n$に表現可能であり、生成的モデルがスパarsityを一般化していることを示している。
• [BJPD17]の$O(kd\log W)$の測定値境界を、構築したスパース性生成ネットワークに適用したところ、$O(k\log n)$の測定値で十分であることが示され、古典的なスパース回復境界と一致する。
• 下界は通信複雑性の議論により証明されており、同時に発表された研究[LS19]で用いられる手法よりも単純で、任意の$\delta > 0$の一般ケースに適用可能である。