[論文レビュー] Robust Decoding from 1-Bit Compressive Sampling with Least Squares

Jian Huang, Yuling Jiao+2 more|arXiv (Cornell University)|Nov 3, 2017

Sparse and Compressive Sensing Techniques参考文献 39被引用数 4

ひとこと要約

本稿では、ノイズおよび符号反転が生じる状況下でも、1ビット圧縮センシング測定値からの信号復元をロバストに行うための最小二乗法を提案する。理論的保証を確立し、過決定系（m > n）では通常の最小二乗法（OLS）、不十分決定系（m < n、スパース）ではℓ₁正則化付き最小二乗法（Lasso）が、高確率で真の信号をスケール因子を除き回復できることを示した。それぞれのサンプル複雑度は𝒪̃(n/δ²)および𝒪(s log n / δ²)である。新規の原双対アクティブセット（PDAS）アルゴリズムにより、アクティブセット上で小さな最小二乗問題を解くことで1ステップ収束を達成し、高い効率性とロバスト性を実現した。

ABSTRACT

In 1-bit compressive sensing (1-bit CS) where target signal is coded into a binary measurement, one goal is to recover the signal from noisy and quantized samples. Mathematically, the 1-bit CS model reads: $y = η\odot extrm{sign} (Ψx^* + ε)$, where $x^{*}\in \mathcal{R}^{n}, y\in \mathcal{R}^{m}$, $Ψ\in \mathcal{R}^{m imes n}$, and $ε$ is the random error before quantization and $η\in \mathcal{R}^{n}$ is a random vector modeling the sign flips. Due to the presence of nonlinearity, noise and sign flips, it is quite challenging to decode from the 1-bit CS. In this paper, we consider least squares approach under the over-determined and under-determined settings. For $m&gt;n$, we show that, up to a constant $c$, with high probability, the least squares solution $x_{ extrm{ls}}$ approximates $ x^*$ with precision $δ$ as long as $m \geq\widetilde{\mathcal{O}}(\frac{n}{δ^2})$. For $m&lt; n$, we prove that, up to a constant $c$, with high probability, the $\ell_1$-regularized least-squares solution $x_{\ell_1}$ lies in the ball with center $x^*$ and radius $δ$ provided that $m \geq \mathcal{O}( \frac{s\log n}{δ^2})$ and $\|x^*\|_0 := s &lt; m$. We introduce a Newton type method, the so-called primal and dual active set (PDAS) algorithm, to solve the nonsmooth optimization problem. The PDAS possesses the property of one-step convergence. It only requires to solve a small least squares problem on the active set. Therefore, the PDAS is extremely efficient for recovering sparse signals through continuation. We propose a novel regularization parameter selection rule which does not introduce any extra computational overhead. Extensive numerical experiments are presented to illustrate the robustness of our proposed model and the efficiency of our algorithm.

研究の動機と目的

• ノイズ、符号反転、量子化の非線形性に対処できる1ビット圧縮センシングの復号法の開発。
• 過決定（m > n）および不十分決定（m < n）の両設定において、高確率で信号復元保証を確立すること。
• 1ビットCSで生じる非滑らかさを持つℓ₁正則化付き最小二乗問題を効率的に解ける最適化アルゴリズムの設計。
• 追加計算コストを伴わない新しい正則化パラメータ選択ルールの提案。
• 広範な数値実験を通じて、提案モデルおよびアルゴリズムのロバスト性と効率性の実証。

提案手法

• 過決定系（m > n）に対して通常の最小二乗法（LS）を用い、経験的リスク∑(yᵢ − ψᵢᵀx)²/mを最小化する。
• 不十分決定系かつスパース系（m < n, ‖x*‖₀ = s）に対してℓ₁正則化付き最小二乗法を適用し、目的関数(1/m)‖Ψx − y‖₂² + λ‖x‖₁を最小化する。
• 原双対アクティブセット（PDAS）アルゴリズムを導入し、各ステップでアクティブセット上で小さな最小二乗問題を解く。
• 1ステップ収束特性を持つニュートン型手法を採用し、計算コストを顕著に削減する。
• 理論的境界に基づく新規な正則化パラメータ選択ルールを導出し、追加計算を回避する。
• 確率的集中不等式およびランダム行列理論を用いて、Ψおよびεがサブガウスおよびサブ指数的仮定を満たす場合のサンプル複雑度の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 通常の最小二乗法は、信号が密であってもノイズおよび符号反転が存在する1ビット測定値から、正確な信号復元を達成できるか？
• RQ2 スパース信号を1ビット測定値から高確率で復元するためのℓ₁正則化付き最小二乗法に必要なサンプルサイズはどの程度か？
• RQ3 1ビットCSにおける非滑らかさを持つℓ₁正則化付き最小二乗問題に対して、高速かつグローバル収束性を有するアルゴリズムを設計可能か？
• RQ4 追加計算コストを伴わず、正則化パラメータを効率的に選択する方法は何か？
• RQ5 δ、n、s、mの観点から、復元誤差に対する理論的保証はどのようなものか？

主な発見

• 過決定系（m > n）では、最小二乗解x_lsが、高確率で真の信号x*をスケール因子cまで近似し、誤差がδ以下となる。その条件としてm ≥ 𝒪̃(n/δ²)が必要である。
• 不十分決定系かつスパース系（m < n, ‖x*‖₀ = s）では、ℓ₁正則化付き最小二乗解x_ℓ₁が、高確率でx*のδ半径の球内に位置する。その条件としてm ≥ 𝒪(s log n / δ²)が必要である。
• PDASアルゴリズムは、アクティブセット上で小さな最小二乗問題を解くことで1ステップ収束を達成し、スパース信号復元において極めて効率的である。
• 提案された正則化パラメータ選択ルールは計算的に効率的であり、最適化問題の解法に追加コストを伴わない。
• 理論的解析により、適切な条件下で復元誤差がO(√s / √m)のオーダーで減少することが示され、共分散行列Σの条件数に明示的な依存関係がある。
• 数値実験により、さまざまなノイズレベルおよび符号反転レベル下でも本手法のロバスト性が確認され、従来の一次およびグリーディ法と比較して優れた効率性を示した。