[论文解读] Iterative Thresholding for Demixing Structured Superpositions in High Dimensions

Mohammadreza Soltani, Chinmay Hegde|arXiv (Cornell University)|Jan 23, 2017

Sparse and Compressive Sensing Techniques参考文献 16被引用 4

一句话总结

本文提出 Struct-DHT，一种用于在样本稀少条件下从非线性观测中解混两个高维结构化稀疏向量的非凸迭代阈值算法。在块稀疏假设下，该方法以 $\mathcal{O}(s)$ 个样本实现了可证明的恢复，具备线性收敛性与接近线性的每次迭代复杂度，在样本效率和速度上优于凸方法与非结构化方法。

ABSTRACT

We consider the demixing problem of two (or more) high-dimensional vectors from nonlinear observations when the number of such observations is far less than the ambient dimension of the underlying vectors. Specifically, we demonstrate an algorithm that stably estimate the underlying components under general \emph{structured sparsity} assumptions on these components. Specifically, we show that for certain types of structured superposition models, our method provably recovers the components given merely $n = \mathcal{O}(s)$ samples where $s$ denotes the number of nonzero entries in the underlying components. Moreover, our method achieves a fast (linear) convergence rate, and also exhibits fast (near-linear) per-iteration complexity for certain types of structured models. We also provide a range of simulations to illustrate the performance of the proposed algorithm.

研究动机与目标

• 为解决从非线性、欠定观测中解混高维、结构化稀疏向量的挑战。
• 在一般结构化稀疏性假设下，特别是块稀疏性下，实现对分量的稳定恢复。
• 通过利用结构化稀疏性，将样本复杂度降低至标准的 $\mathcal{O}(s)$ 以下。
• 开发一种具有快速（线性）收敛性和接近线性每次迭代复杂度的方法，以实现高维推理的可扩展性。
• 将现有解混框架扩展至具有可证明保证的非线性观测模型。

提出的方法

• 该算法在基于广义线性模型与非线性链接函数 $g$ 的非凸目标函数上使用迭代阈值。
• 它采用一种结构化硬阈值算子 $\mathcal{P}_{s;s}$，通过在每个分量中选择 $s$ 个最大模值块来保持块稀疏结构。
• 该方法依赖于在区间 $\left(\frac{0.5}{M_{6s}}, \frac{1.5}{m_{6s}}\right)$ 内选取的步长 $\eta'$，以确保稳定性和收敛性。
• 通过涉及真实参数 $\theta$、迭代值 $t^k$ 和投影中间估计值 $b$ 的三角不等式分解建立收敛性。
• 证明利用了受限强凸性/光滑性（SRSC/SRSS）以及 Kintchine 不等式，以有界支持集上的期望梯度范数。
• 该算法通过在基 $\Phi$ 和 $\Psi$ 上施加非相干性假设来处理可识别性问题。

实验结果

研究问题

• RQ1 非凸迭代阈值方法能否在非线性、欠定观测下实现对结构化稀疏分量的可证明恢复？
• RQ2 在块稀疏假设下，稳定解混所需的最少样本数是多少？
• RQ3 所提方法在高维设置下是否实现线性收敛性与接近线性的每次迭代复杂度？
• RQ4 在样本效率与误差方面，该结构化方法相较于凸方法与非结构化方法表现如何？
• RQ5 在光滑性与非相干性假设下，该方法能否达到渐近样本复杂度下限？

主要发现

• 所提出的 Struct-DHT 算法实现线性收敛，其误差界为 $\|t^{k+1}-\theta\|_2 \leq (2q)^k\|t^0 - \theta\|_2 + C\tau\sqrt{s/m}$，其中 $q < 1$。
• 在子高斯设计矩阵下，所需样本复杂度为 $\mathcal{O}(s/b \log(p/s))$，当 $b = \Omega(\log(p/s))$ 时简化为 $\mathcal{O}(s)$。
• 该方法实现了渐近最优样本复杂度，与非线性、高维情形下的理论下限相匹配。
• 数值结果表明，Struct-DHT 在样本效率方面显著优于标准 DHT 与凸 DST 方法，实现低归一化误差所需样本更少。
• 在 $p = 2^{16}$、$s = 656$ 与 $b = 16$ 的模拟中，Struct-DHT 实现了成功恢复（归一化误差 < 0.05），所需样本少于对比方法。
• 该算法在块稀疏模型下表现出接近线性的每次迭代复杂度，从而可扩展至高维问题。