[論文レビュー] The Generalized Lasso with Nonlinear Observations and Generative Priors

Zhaoqiang Liu, Jonathan Scarlett|arXiv (Cornell University)|Jan 1, 2020

Markov Chains and Monte Carlo Methods被引用数 4

ひとこと要約

この論文は、有界なk次元入力を備えたリプシッツ連続的生成モデルの範囲に存在する信号を、ノイズあり非線形測定値から推定するための一般化Lassoフレームワークを提案する。サブガウス型測定と悪意ある汚染の下で非一様および一様な回復保証を確立し、ℓ₂誤差εを達成するにはO(k/ε² log L)個のサンプルで十分であることを示し、ノイズに強い性能を発揮するとともに、ニューラルネットワークや1ビット、トビットモデルなどのモデルへ応用可能である。

ABSTRACT

In this paper, we study the problem of signal estimation from noisy non-linear measurements when the unknown $n$-dimensional signal is in the range of an $L$-Lipschitz continuous generative model with bounded $k$-dimensional inputs. We make the assumption of sub-Gaussian measurements, which is satisfied by a wide range of measurement models, such as linear, logistic, 1-bit, and other quantized models. In addition, we consider the impact of adversarial corruptions on these measurements. Our analysis is based on a generalized Lasso approach (Plan and Vershynin, 2016). We first provide a non-uniform recovery guarantee, which states that under i.i.d.~Gaussian measurements, roughly $O\left(\frac{k}{\epsilon^2}\log L ight)$ samples suffice for recovery with an $\ell_2$-error of $\epsilon$, and that this scheme is robust to adversarial noise. Then, we apply this result to neural network generative models, and discuss various extensions to other models and non-i.i.d.~measurements. Moreover, we show that our result can be extended to the uniform recovery guarantee under the assumption of a so-called local embedding property, which is satisfied by the 1-bit and censored Tobit models.

研究の動機と目的

• 信号が生成モデルの範囲に制約される非線形でノイズのある測定値からの信号推定を扱う。
• 測定プロセスにおける悪意ある汚染に対してロバストな回復フレームワークを開発する。
• サブガウス型ノイズを伴う非線形観測モデルへの一般化Lassoアプローチの拡張。
• 1ビットや打ち切りトビットモデルに適用可能な、ローカル埋め込み性の下での一様な回復保証を確立する。
• 高次元信号回復における生成的事前知識のサンプル複雑度と誤差境界を分析する。

提案手法

• この手法は、PlanとVershynin（2016）の一般化Lassoの形式を非線形観測に適応させたものである。
• サブガウス型測定ノイズを仮定し、線形、ロジスティック、1ビット、量子化モデルをカバーする。
• 生成モデルのL-リプシッツ連続性と有界なk次元潜在コードの性質を分析に活用する。
• i.i.d. ガウス型測定の下で、集中不等式を用いて非一様な回復を確立する。
• ローカル埋め込み性の下で一様な回復保証を導出する。この性質は1ビットおよびトビットモデルで成立する。
• 非i.i.d.測定へとフレームワークを拡張し、ニューラルネットワークベースの生成モデルに応用する。

実験結果

リサーチクエスチョン

• RQ1 一般化Lassoは、生成的事前知識と悪意あるノイズを伴う非線形測定モデルへ拡張可能か？
• RQ2 サブガウス型測定の下でℓ₂誤差εを達成するための必要なサンプル複雑度は何か？
• RQ3 生成モデルの範囲内に存在するすべての信号に対して、回復保証が一様に成立する条件は何か？
• RQ4 ローカル埋め込み性は、1ビットや打ち切りトビットモデルに対してどのように一様な回復を可能にするか？
• RQ5 このフレームワークは、トレーニング済みのニューラルネットワークのような深層生成モデルへ応用可能か？

主な発見

• サブガウス型ノイズの下で、i.i.d. ガウス型測定O(k/ε² log L)により、ℓ₂誤差εの非一様な回復が達成される。
• 測定値における悪意ある汚染に対してもロバストであり、同じ誤差境界を維持する。
• ローカル埋め込み性の下で一様な回復保証が成立し、1ビットおよび打ち切りトビットモデルで満たされる。
• サンプル複雑度は、生成モデルのリプシッツ定数Lに対して対数的にスケーリングする。
• ニューラルネットワークベースの生成モデルへも適用可能であり、理論的保証のもとで信号回復が可能である。
• 非i.i.d.測定への拡張が可能であり、i.i.d.設定にとどまらない応用範囲を広げる。