[论文解读] Concentration via chaining method and its applications

Witold Bednorz|arXiv (Cornell University)|May 4, 2014

Sparse and Compressive Sensing Techniques参考文献 2被引用 11

一句话总结

本文提出一种改进的链式方法，用于推导随机过程的精确集中不等式，特别针对经验过程和高斯过程。在指数型矩条件下的假设下，建立了伯恩斯坦型不等式，从而实现最优集中界，这对压缩感知和高维统计至关重要。

ABSTRACT

In this paper we study the regularity of paths in terms of properties of admissible nets. We show the right concentration inequality above the modulus of continuity. Using the approach we prove the Bernstein type inequality for the empirical processes. Therefore we obtain the best form of concentration for processes studied recently by Mendelson and Paouris. Results of this type are of importance in the compressed sensing theory.

研究动机与目标

• 开发一种基于链式的方怯，以在矩控制条件下为随机过程获得最优集中不等式。
• 为具有指数型尾部的经验过程建立伯恩斯坦型不等式，改进现有结果。
• 将改进的集中界应用于压缩感知，特别是针对子高斯矩阵条目。
• 通过链式方法与主要测度理论，量化稀疏恢复中受限等距性质（RIP）所需的样本复杂度。
• 在理论集中不等式与高维概率及信号处理的实际应用之间建立桥梁。

提出的方法

• 采用双层链式方法，结合可容许网 $(T_n)$ 以控制路径正则性与增量行为。
• 引入加权和 $\sigma_m(t) = \sum_{n=m}^\infty 2^n d(t, T_n)$ 以捕捉过程的连续模。
• 定义一个随机变量 $Z = \sum_{n=1}^\infty \frac{1}{N_n^3} \sum_{t \in T_n} \psi\left( \frac{|X(t) - X(\pi_{n-1}(t))|}{d(t, \pi_{n-1}(t))} \right)$，满足 $\mathbb{E}[Z] \leq 1$，以控制尾部行为。
• 应用指数型条件 $\psi^{-1}(xy) \leq K(\psi^{-1}(x) + \psi^{-1}(y))$ 以处理非凸但次指数的 Young 函数。
• 将链式方法与主要测度理论结合，以有界 $\gamma_2(S_2(\Sigma_{2m}))$，即稀疏单位球的复杂度。
• 利用链式不等式推导出 $\delta_{2m} = \sup_{x \in S_2(\Sigma_{2m})} \left| \frac{1}{N} \sum_{i=1}^N \langle Y_i, x \rangle^2 - 1 \right|$ 的高概率界。

实验结果

研究问题

• RQ1 如何改进链式方法，以获得具有指数型尾部过程的最优集中不等式？
• RQ2 在矩控制下，经验过程上确界最紧的可能集中界是什么？
• RQ3 链式方法能否被调整以推导压缩感知中最优的样本复杂度界？
• RQ4 与现有结果相比，基于链式的界在稀疏度与维度依赖性方面表现如何？
• RQ5 可容许网与 $\psi$-范数在控制路径正则性与尾部行为中起什么作用？

主要发现

• 本文建立了精确的集中不等式：$|X(t) - X(\pi_m(t))| \leq A\sigma_m(t) + Bd(t, \pi_m(t))\psi^{-1}(Z)$，其中 $\mathbb{E}[Z] \leq 1$，且 $A = 15K^2$，$B = 4K^2$。
• 对于具有子高斯条目的经验过程，链式方法给出界 $\mathbf{P}(\delta_{2m} > \delta) \leq \exp(-c \gamma^2)$，其中 $\gamma = \sqrt{m \log(c_0 m^{-1} M)}$。
• 该方法实现了最优样本复杂度：在压缩感知中，当 $\delta_{2m} < \sqrt{2} - 1$ 时，$N \gtrsim m \log(M/m)$。
• 该界优于先前结果，实现了正确的 $m \log(M/m)$ 依赖关系，与已知的信息论极限一致。
• 在指数型条件下，结合可容许网与 $\psi$-范数控制的链式方法，可获得最优常数的伯恩斯坦型不等式。
• 结果表明，当 $N \gtrsim m \log(M/m)$ 时，$\delta_{2m} < \sqrt{2} - 1$ 几乎必然成立，从而确保对 $m$-稀疏向量的精确恢复。