[論文レビュー] Robust One-Bit Recovery via ReLU Generative Networks: Near-Optimal Statistical Rate and Global Landscape Analysis

Shuang Qiu, Xiaohan Wei+1 more|arXiv (Cornell University)|Aug 14, 2019

Sparse and Compressive Sensing Techniques参考文献 31被引用数 11

ひとこと要約

本稿では、ReLU生成ネットワークを用いて、量子化測定値からスパース信号を回復する、ロバストな1ビット圧縮センシングフレームワークを提案する。統計的レート $ m = \widetilde{\mathcal{O}}(kn\log d/\varepsilon^2) $ が近似的に最適であることを確立し、実効リスク最小化（ERM）の最適化 Landscape に真の表現およびその負の表現の近傍以外に偽の停留点が存在しないことを証明することで、緩い条件下でもグローバル収束を保証する。

ABSTRACT

We study the robust one-bit compressed sensing problem whose goal is to design an algorithm that faithfully recovers any sparse target vector $θ_0\in\mathbb{R}^d$ extit{uniformly} via $m$ quantized noisy measurements. Specifically, we consider a new framework for this problem where the sparsity is implicitly enforced via mapping a low dimensional representation $x_0 \in \mathbb{R}^k$ through a known $n$-layer ReLU generative network $G:\mathbb{R}^k ightarrow\mathbb{R}^d$ such that $θ_0 = G(x_0)$. Such a framework poses low-dimensional priors on $θ_0$ without a known sparsity basis. We propose to recover the target $G(x_0)$ solving an unconstrained empirical risk minimization (ERM). Under a weak extit{sub-exponential measurement assumption}, we establish a joint statistical and computational analysis. In particular, we prove that the ERM estimator in this new framework achieves a statistical rate of $m=\widetilde{\mathcal{O}}(kn \log d /\varepsilon^2)$ recovering any $G(x_0)$ uniformly up to an error $\varepsilon$. When the network is shallow (i.e., $n$ is small), we show this rate matches the information-theoretic lower bound up to logarithm factors of $\varepsilon^{-1}$. From the lens of computation, we prove that under proper conditions on the network weights, our proposed empirical risk, despite non-convexity, has no stationary point outside of small neighborhoods around the true representation $x_0$ and its negative multiple; furthermore, we show that the global minimizer of the empirical risk stays within the neighborhood around $x_0$ rather than its negative multiple under further assumptions on the network weights.

研究の動機と目的

• 従来の1ビット圧縮センシングがガウス分布の測定ベクトルと明示的なスパース基底に依存するという限界を是正すること。
• 既知のスパース基底を必要とせず、深層ReLU生成モデルによって低次元の事前分布を暗黙的に強制するフレームワークを構築すること。
• 弱い部分指数的測定仮定のもとで、任意のターゲットベクトル $ \theta_0 = G(x_0) $ を1ビット測定値から一様に回復できることを達成すること。
• 提案された実効リスク最小化アプローチの統計的および計算的保証を確立すること。

提案手法

• ターゲットベクトル $ \theta_0 $ を、低次元の潜在コード $ x_0 \in \mathbb{R}^k $ を入力とする既知の $ n $ 層のReLU生成ネットワーク $ G: \mathbb{R}^k \to \mathbb{R}^d $ の出力としてモデル化する。
• 1ビット測定値から $ G(x_0) $ を回復するための非制約的実効リスク最小化（ERM）定式化を提案する。
• 弱い部分指数的測定仮定の下で統計的レートを分析し、$ \varepsilon $-精度を達成するためには $ m = \widetilde{\mathcal{O}}(kn\log d/\varepsilon^2) $ 測定値で十分であることを示す。
• ネットワーク重みに関する緩い条件下で、ERM目的関数が $ x_0 $ および $ -x_0 $ の近傍以外に停留点を持たないことを確立し、グローバル収束を保証する。
• ネットワーク重みに関する追加の仮定のもとで、ERMのグローバル最小解が $ x_0 $ の近傍に位置することを示す。
• 濃縮不等式と幾何的議論を用いて、実効リスクの期待値からの逸脱をバウンディングし、一様回復を保証する。

実験結果

リサーチクエスチョン

• RQ1 非ガウス的で部分指数的測定ベクトルに対しても耐性があり、一様回復保証を維持できる1ビット圧縮センシングは可能か？
• RQ2 深層ReLU生成モデルを事前分布として用いることで、既知の基底における明示的スパース性を必要とせず、近似的に最適な統計的回復レートを達成できるか？
• RQ3 この生成的フレームワークにおける非凸的実効リスク最小化問題は、偽の局所最適解を回避し、グローバル収束を保証できるか？
• RQ4 ネットワーク重みにどのような条件下で、実効リスクのグローバル最小解が真の潜在コード $ x_0 $ に対応し、その負の値 $ -x_0 $ に対応しないか？
• RQ5 提案されたフレームワークの統計的レートは、特に浅いネットワークの状態において近似的に最適か？

主な発見

• 提案されたERM推定器は、統計的レート $ m = \widetilde{\mathcal{O}}(kn\log d/\varepsilon^2) $ を達成し、ネットワークが浅い（$ n $ が小さい）場合、情報理論的下界と対数要因を除いて一致する。
• ネットワーク重みに関する緩い条件下で、実効リスク関数は $ x_0 $ および $ -x_0 $ の近傍以外に停留点を持たないことが示され、真の潜在コードの近傍に収束することが保証される。
• さらにネットワーク重みに関する仮定を追加することで、実効リスクのグローバル最小解が $ x_0 $ の近傍に位置することが示され、符号の不確かさ問題が解決される。
• 分析は弱い部分指数的測定仮定のもとで成り立つため、非ガウス的で、より実用的な測定メカニズムに対しても耐性がある。
• 測定プロセスの高確率で結果が成立し、半径 $ R $ の範囲内に存在するすべての $ k $-スパースなターゲットに対して一様回復が保証される。