[论文解读] Empirical Chaos Processes and Blind Deconvolution

Ali Ahmed, Felix Krahmer+1 more|arXiv (Cornell University)|Aug 30, 2016

Sparse and Compressive Sensing Techniques参考文献 43被引用 4

一句话总结

该论文建立了在何种条件下，可以唯一恢复稀疏向量 𝐰 ∈ ℂᴹ¹ 和 𝐪 ∈ ℂᴹ²，其依据是双线性测量 𝑦ₗ = 𝐛ₗ*𝕏𝐜ₗ，其中 𝕏 = 𝐰𝐪*。通过使用经验混沌过程 𝑍(𝕏) = ∑ₗ |𝐛ₗ*𝕏𝐜ₗ|²，作者证明：在通用高斯分布的 𝐛ₗ、𝐜ₗ 及稀疏性约束下，当 𝐿 ≥ Const·(𝐾+𝑁)log⁵(𝑀₁𝑀₂) 时，𝑤 和 𝐪 以高概率被唯一恢复。

ABSTRACT

This paper investigates conditions under which certain kinds of systems of bilinear equations have a unique structured solution. In particular, we look at when we can recover vectors $\boldsymbol{w},\boldsymbol{q}$ from observations of the form \[ y_{\ell} = , \quad \ell = 1,\ldots,L, \] where $\boldsymbol{b}_\ell,\boldsymbol{c}_\ell$ are known. We show that if $\boldsymbol{w}\in\mathbb{C}^{M_1}$ and $\boldsymbol{q}\in\mathbb{C}^{M_2}$ are sparse, with no more than $K$ and $N$ nonzero entries, respectively, and the $\boldsymbol{b}_\ell,\boldsymbol{c}_\ell$ are generic, selected as independent Gaussian random vectors, then $\boldsymbol{w},\boldsymbol{q}$ are uniquely determined from \[ L \geq \mathrm{Const}\cdot (K+N)\log^5(M_1M_2) \] such equations with high probability. The key ingredient in our analysis is a uniform probabilistic bound on how far a random process of the form \[Z(\boldsymbol{X}) = \sum_{\ell=1}^L|\boldsymbol{b}_\ell^*\boldsymbol{X}\boldsymbol{c}_\ell|^2 \] deviates from its mean over a set of structured matrices $\boldsymbol{X}\in\mathcal{X}$. As both $\boldsymbol{b}_\ell$ and $\boldsymbol{c}_\ell$ are random, this is a specialized type of $4$th order chaos; we refer to $Z(\boldsymbol{X})$ as an {\em empirical chaos process}. Bounding this process yields a set of general conditions for when the map $\boldsymbol{X} ightarrow \{\boldsymbol{b}_\ell^*\boldsymbol{X}\boldsymbol{c}_\ell\}_{\ell=1}^L$ is a restricted isometry over the set of matrices $\mathcal{X}$. The conditions are stated in terms of general geometric properties of the set $\mathcal{X}$, and are explicitly computed for the case where $\mathcal{X}$ is the set of matrices that are simultaneously sparse and low rank.

研究动机与目标

• 确定稀疏向量 𝐰 和 𝐪 能否从双线性测量 𝑦ₗ = 𝐛ₗ*𝕏𝐜ₗ（其中 𝕏 = 𝐰𝐪*）中唯一恢复的条件。
• 分析经验混沌过程 𝑍(𝕏) = ∑ₗ |𝐛ₗ*𝕏𝐜ₗ|² 在结构化矩阵 𝕏 上相对于其均值的波动行为。
• 建立测量映射 𝕏 ↦ {𝐛ₗ*𝕏𝐜ₗ}ₗ=1ᴸ 在稀疏和低秩矩阵上表现为受限等距的充分条件。
• 推导出确保唯一恢复所需的测量数 𝐿 的显式边界，以稀疏度和环境维数表示。
• 表征确保通过随机测量实现稳定且鲁棒恢复的结构化矩阵集合的几何特性。

提出的方法

• 将双线性测量过程建模为经验混沌过程 𝑍(𝕏) = ∑ₗ |𝐛ₗ*𝕏𝐜ₗ|²，其中 𝐛ₗ 和 𝐜ₗ 为独立的复高斯向量。
• 在一组结构化矩阵 𝕏 ∈ 𝒳 上，推导出 𝑍(𝕏) 相对于其均值的偏差的统一概率界，特别是针对同时稀疏和低秩的矩阵。
• 利用该界证明测量映射在集合 𝒳 上满足受限等距性质（RIP），从而确保稳定恢复。
• 应用几何与概率工具，将矩阵集合 𝒳 的复杂性与所需测量数 𝐿 关联起来。
• 显式计算当 𝕏 同时稀疏和低秩时的测量复杂度，得到涉及 (𝐾+𝑁)log⁵(𝑀₁𝑀₂) 的边界。
• 利用混沌过程的集中不等式，统一控制经验过程在 𝒳 上相对于其期望的偏差。

实验结果

研究问题

• RQ1 在何种条件下，可以唯一恢复稀疏向量 𝐰 和 𝐪，其依据是双线性测量 𝑦ₗ = 𝐛ₗ*𝕏𝐜ₗ，其中 𝕏 = 𝐰𝐪*？
• RQ2 需要多少测量数 𝐿 才能以高概率确保稀疏 𝐰 和 𝐪 的唯一恢复？
• RQ3 经验混沌过程 𝑍(𝕏) = ∑ₗ |𝐛ₗ*𝕏𝐜ₗ|² 在表征恢复映射稳定性方面起什么作用？
• RQ4 结构化矩阵集合 𝒳 的几何特性如何影响测量映射的受限等距行为？
• RQ5 当 𝕏 同时稀疏和低秩时，可以推导出何种显式的测量复杂度边界？

主要发现

• 经验混沌过程 𝑍(𝕏) = ∑ₗ |𝐛ₗ*𝕏𝐜ₗ|² 在结构化矩阵集合上表现出对均值的紧密集中，从而实现了对测量行为的统一控制。
• 以高概率，双线性测量映射在同时稀疏和低秩的矩阵集合上满足受限等距性质。
• 当测量数满足 𝐿 ≥ Const·(𝐾+𝑁)log⁵(𝑀₁𝑀₂) 时，稀疏向量 𝐰 和 𝐪 的唯一恢复得到保证。
• 所需测量数随环境维数乘积 𝑀₁𝑀₂ 的对数呈对数增长，反映了结构化矩阵集合的复杂性。
• 该分析提供了一个通用框架，将结构化矩阵集合的几何特性与通过随机测量实现的双线性恢复稳定性联系起来。
• 结果为非渐近形式，且对通用高斯测量向量 𝐛ₗ 和 𝐜ₗ 成立，确保了在典型随机采样下的鲁棒性。