[論文レビュー] The generalized Lasso with non-linear observations

Yaniv Plan, Roman Vershynin|arXiv (Cornell University)|Feb 13, 2015

Sparse and Compressive Sensing Techniques参考文献 43被引用数 19

ひとこと要約

本稿は非線形観測モデルにおける一般化ラッソの理論的保証を確立し、非線形観測が有効なスケーリングおよびノイズパラメータを持つノイズ付き線形観測と同様に振る舞うことを示している。局所平均幅を用いて一般な信号構造下での誤差を制御することで、測定行列の共分散が未知である1ビット圧縮センシングに対する最初の精度バウンドを確立した。

ABSTRACT

We study the problem of signal estimation from non-linear observations when the signal belongs to a low-dimensional set buried in a high-dimensional space. A rough heuristic often used in practice postulates that non-linear observations may be treated as noisy linear observations, and thus the signal may be estimated using the generalized Lasso. This is appealing because of the abundance of efficient, specialized solvers for this program. Just as noise may be diminished by projecting onto the lower dimensional space, the error from modeling non-linear observations with linear observations will be greatly reduced when using the signal structure in the reconstruction. We allow general signal structure, only assuming that the signal belongs to some set K in R^n. We consider the single-index model of non-linearity. Our theory allows the non-linearity to be discontinuous, not one-to-one and even unknown. We assume a random Gaussian model for the measurement matrix, but allow the rows to have an unknown covariance matrix. As special cases of our results, we recover near-optimal theory for noisy linear observations, and also give the first theoretical accuracy guarantee for 1-bit compressed sensing with unknown covariance matrix of the measurement vectors.

研究の動機と目的

• 実務家が理論的裏付けが不足する中でもしばしば適用する一般化ラッソを、非線形観測モデルにおいて理論的に正当化すること。
• 非線形観測（例：量子化済みまたは2値化された観測）が、有効な信号対ノイズ比スケーリングを持つ線形観測と同様に振る舞う仕組みを特定すること。
• 測定行列の共分散が未知である場合を許容する理論の拡張を図り、1ビット圧縮センシングなど実世界の応用に特に関連する。
• 測定行列の共分散が未知である場合の1ビット圧縮センシングに対する最初の理論的精度保証を確立すること。
• 不連続または未知の非線形性を含む非線形モデルにおけるラッソの既存結果を統合・一般化すること。

提案手法

• 観測値が線形測定の非線形関数である半パラメトリック単一インデックスモデルを用いる：$ y_i = f_i(\langle \mathbf{a}_i, \mathbf{x} \rangle) $。
• 測定行列 $ \mathbf{A} $ が未知の共分散 $ \Sigma $ を持つ独立同一分布のガウス型の行を持つと仮定し、スケーリングが未知であってもロバストであるようにする。
• 信号空間への変換を適用し、$ K $-ラッソ：$ \min_{\mathbf{x}' \in K} \| \mathbf{A} \mathbf{x}' - \mathbf{y} \|_2 $ を用いた構造的推定フレームワークに問題を還元する。
• 信号構造の複雑さを定量化し推定誤差を制御するために、集合 $ K $ の局所平均幅を用いる。
• 一様偏差不等式および集中不等式を用いて、集合 $ K \cap tS^{n-1} $ 上での $ \ell_1 $-ノルム $ \| \mathbf{A} \mathbf{u} \|_1 $ を制御し、高確率での誤差バウンドを可能にする。
• 非線形モデルをスケーリングおよびノイズ付き線形モデルとして特徴付ける有効な信号強度 $ \mu(f) $ およびノイズレベル $ \sigma(f) $ を導出する。

実験結果

リサーチクエスチョン

• RQ1 非線形性が未知または不連続であっても、一般化ラッソが非線形観測に対して理論的に正当化可能か？
• RQ2 信号集合 $ K $ の構造、特に局所平均幅の観点から、$ K $-ラッソの性能はどのように依存するか？
• RQ3 測定行列の共分散が未知である場合に、1ビット圧縮センシングの理論的保証を拡張可能か？
• RQ4 非ガウス型測定行列、特にサブガウス型設計において、結果はどの程度成立するか？
• RQ5 単一インデックスモデルが僅かにしか成り立たない場合など、モデルの誤指定に対して $ K $-ラッソはどの程度ロバストか？

主な発見

• 非線形観測を伴う一般化ラッソは、非線形性 $ f $ に依存する有効な信号強度 $ \mu(f) $ およびノイズレベル $ \sigma(f) $ を持つノイズ付き線形モデルとほぼ同様に振る舞う。
• 推定誤差は信号集合 $ K $ の局所平均幅によって制御され、信号構造と誤差の間の鋭いトレードオフを特徴付ける。
• 共分散が未知の1ビット圧縮センシングにおいて、本稿は一般な信号構造下で初めて理論的精度保証を提供した。
• 非線形性 $ f $ が不連続であったり、1対1でなかったり、まったく未知であったりしても、観測間で独立同一分布に従う限り、結果は成立する。
• 測定行列の共分散が未知であっても理論が成立するため、事前に共分散を推定する必要がないという、先行研究の重大な一般化である。
• サブガウス型測定行列の場合、追加の誤差項が生じるが、信号があまりにスパースでない限り、その誤差項は消える。