[论文解读] Gelfand numbers related to structured sparsity and Besov space embeddings with small mixed smoothness

Sjoerd Dirksen, Tino Ullrich|arXiv (Cornell University)|Feb 22, 2017

Mathematical Approximation and Integration参考文献 50被引用 4

一句话总结

本文为混合范数 $\beta$-序列空间嵌入 $\ell_p^b(\ell_q^d) \to \ell_2^{bd}$ 的 Gelfand 数建立了精确的渐近界，特别针对 $p \leq 1$ 或 $q \leq 1$ 的情形，将其与压缩感知中的结构化稀疏性模型联系起来。研究推导了块稀疏（$\ell_1^b(\ell_2^d)\to\ell_2^{bd}$）与逐层稀疏（$\ell_2^b(\ell_1^d)\to\ell_2^{bd}$）恢复的匹配上下界，并将其应用于获得小混合光滑度下 Besov 空间嵌入的新双向渐近估计，表明其渐近行为与单变量情形非常接近，差异最多为 $\log\log$ 因子。

ABSTRACT

We consider the problem of determining the asymptotic order of the Gelfand numbers of mixed-(quasi-)norm embeddings $\ell^b_p(\ell^d_q) \hookrightarrow \ell^b_r(\ell^d_u)$ given that $p \leq r$ and $q \leq u$, with emphasis on cases with $p\leq 1$ and/or $q\leq 1$. These cases turn out to be related to structured sparsity. We obtain sharp bounds in a number of interesting parameter constellations. Our new matching bounds for the Gelfand numbers of the embeddings of $\ell_1^b(\ell_2^d)$ and $\ell_2^b(\ell_1^d)$ into $\ell_2^b(\ell_2^d)$ imply optimality assertions for the recovery of block-sparse and sparse-in-levels vectors, respectively. In addition, we apply the sharp estimates for $\ell^b_p(\ell^d_q)$-spaces to obtain new two-sided estimates for the Gelfand numbers of multivariate Besov space embeddings in regimes of small mixed smoothness. It turns out that in some particular cases these estimates show the same asymptotic behaviour as in the univariate situation. In the remaining cases they differ at most by a $\log\log$ factor from the univariate bound.

研究动机与目标

• 确定混合范数序列空间 $\ell_p^b(\ell_q^d) \to \ell_r^b(\ell_u^d)$ 嵌入的 Gelfand 数渐近阶，其中 $p \leq r$，$q \leq u$，尤其关注 $p \leq 1$ 或 $q \leq 1$ 的情形。
• 为 $\ell_1^b(\ell_2^d) \to \ell_2^{bd}$ 和 $\ell_2^b(\ell_1^d) \to \ell_2^{bd}$ 的 Gelfand 数建立精确界，将其与块稀疏与逐层稀疏向量的最优恢复联系起来。
• 将这些估计应用于推导多变量 Besov 空间嵌入在小混合光滑度区域下的新双向渐近界。
• 比较这些 Gelfand 数与单变量情形的渐近行为，识别其完全一致的情况以及最多相差 $\log\log$ 因子的情形。

提出的方法

• 利用泛函分析与拟 Banach 空间理论的技术，特别是针对 $p \leq 1$ 或 $q \leq 1$ 时出现的非凸单位球，推导出 Gelfand 数的精确上下界。
• 通过 Gelfand 数与最小最坏情况恢复误差之间的对偶性，将结果与压缩感知和信号恢复联系起来。
• 通过小波表征，将 Besov 空间嵌入问题约化为有限维混合范数 $\ell_p^b(\ell_q^d)$-空间嵌入问题。
• 运用标准嵌入与插值技术，将混合范数空间与经典 $\ell_p$-空间关联，同时仔细追踪对数因子。
• 利用 Gelfand 数与最小恢复误差之间的等价性，推导出结构化稀疏性模型的最优性结论。
• 识别出 $\log\log m$ 因子在某些情形下的关键作用，并讨论其通过改进混合范数估计可能被消除的可能性。

实验结果

研究问题

• RQ1 当 $p \leq 1$ 或 $q \leq 1$ 时，嵌入 $\ell_p^b(\ell_q^d) \to \ell_2^{bd}$ 的 Gelfand 数的渐近阶为何？尤其在结构化稀疏性情形下？
• RQ2 $\ell_1^b(\ell_2^d) \to \ell_2^{bd}$ 与 $\ell_2^b(\ell_1^d) \to \ell_2^{bd}$ 的 Gelfand 数如何与块稀疏与逐层稀疏信号的最优恢复相关联？
• RQ3 小混合光滑度下 Besov 空间嵌入的 Gelfand 数在多大程度上与单变量情形一致？何时相差最多为 $\log\log$ 因子？
• RQ4 通过改进混合范数估计分析，能否消除渐近界中 $\log\log m$ 因子的存在？
• RQ5 内层与外层 $\ell_p$-范数在决定块稀疏与逐层稀疏模型中 Gelfand 数行为不对称性方面起什么作用？

主要发现

• 对于 $1 \leq m \leq bd$ 且 $0 < p \leq 1$，有 $c_m(\mathrm{id}:\ell_p^b(\ell_2^d) \to \ell_2^{bd}) \simeq_p \min\left\{1, \frac{\log(eb/m) + d}{m}\right\}^{1/p - 1/2}$，显示出块大小与稀疏性之间的权衡。
• 对于 $1 \leq m \leq bd$ 且 $0 < q \leq 1$，有 $c_m(\mathrm{id}:\ell_2^b(\ell_q^d) \to \ell_2^{bd}) \simeq_q \min\left\{1, \frac{b\log(ebd/m)}{m}\right\}^{1/q - 1/2}$，凸显了外层与内层范数角色的不对称性。
• 当 $p=1$ 时，有 $c_m(\mathrm{id}:\ell_1^b(\ell_2^d) \to \ell_2^{bd}) \simeq \min\left\{1, \frac{\log(eb/m) + d}{m}\right\}^{1/2}$，这表明块稀疏恢复的最优性。
• 当 $q=1$ 时，有 $c_m(\mathrm{id}:\ell_2^b(\ell_1^d) \to \ell_2^{bd}) \simeq \min\left\{1, \frac{b\log(ebd/m)}{m}\right\}^{1/2}$，确立了逐层稀疏恢复的最优性。
• 小混合光滑度区域下 Besov 空间嵌入 $s_{p_0,q_0}^{r_0}b(\Omega) \to s_{p_1,q_1}^{r_1}b(\Omega)$ 的 Gelfand 数与单变量情形的渐近行为一致，或最多相差 $\log\log m$ 因子。
• 本文指出 $\log\log m$ 因子可能是标准嵌入技术的副产品，并建议通过改进混合范数估计可能将其消除，尽管这仍是开放问题。