[论文解读] A generalization of some random variables involving in certain compressive sensing problems

Romeo Meštrović|arXiv (Cornell University)|Jun 26, 2018

Sparse and Compressive Sensing Techniques参考文献 17被引用 4

一句话总结

该论文将压缩感知中使用的离散复值随机变量进行推广，推导出从包含 N 个元素的多重集采样 m 个元素时其期望值和方差的精确表达式。关键贡献在于将这些矩与矩阵性质（Frobenius 范数、相干性、奇异值及 Welch 界）联系起来，为压缩感知中测量矩阵的理论分析提供了工具。

ABSTRACT

In this paper we give a generalization of the discrete complex-valued random variable defined and investigated in \cite{ssa} and \cite{m8}. We prove the statements concerning the expressions for the excepted value and the variance of this random variable. In partucular, such a random variable here is defined for each of $m$ rows of any $m imes N$ complex or real matrix ${ m{\bf A}}$ with $1\le m\le N$. We consider the arithmetic mean $\bar{X}(m)$ of these $m$ random variables and we deduce the expressions for the expected value $\Bbb E[\bar{X}(m)]$ and the variance ${ m{ Var}}[\bar{X}(m)]$ of $\bar{X}(m)$. Using the expression for ${ m{ Var}}[\bar{X}(m)]$, we establish some equalities and inequalities involving ${ m{Var}}[\bar{X}(m)]$, the Frobenius norm, the largest eigenvalue, the largest singular value and the coherence of a matrix ${ m{\bf A}}$. It is showed that some of these estimates are closely related to the Welch bound of the coherence of a $m imes N$ complex or real matrix ${ m{\bf A}}$ with $1\le m\le N$. Taking into account that the value of coherence of the measurement matrix in the theory of compressive sensing has a significant role, we believe that our results should be useful for some topics of this theory.

研究动机与目标

• 推广用于 m×N 矩阵中任意 m 行子矩阵的离散复值随机变量。
• 推导从包含复数的多重集中随机无放回选取 m 个元素之和的期望值与方差的精确解析表达式。
• 将样本均值的方差与基本矩阵范数和相干性关联，特别是与 Welch 界建立联系。
• 通过概率矩为评估压缩感知中测量矩阵性能提供理论工具。

提出的方法

• 将离散复值随机变量 X(m,Φ_N) 定义为从包含 N 个复数的多重集 Φ_N 中无放回均匀随机选取 m 个元素的和。
• 利用组合计数推导期望值 E[X(m,Φ_N)] = (m/N)∑z_i，借助对称性与超几何计数。
• 通过统计所有 m-子集中 |z_i|² 和 z_i z̄_j 项的出现次数，计算二阶矩 E[|X(m,Φ_N)|²]，并应用二项式恒等式。
• 利用恒等式 Var[X] = E[|X|²] − |E[X]|² 推导方差 Var[X(m,Φ_N)]，得到以 ∑|z_i|² 和 |∑z_i|² 表示的闭式表达式。
• 引入归一化样本均值 X̄(m,Φ_N) = X(m,Φ_N)/m，并推导其期望值与方差以分析均值稳定性。
• 将方差表达式与矩阵范数关联：Frobenius 范数、最大奇异值、特征值及相干性，特别强调与 Welch 界的联系。

实验结果

研究问题

• RQ1 如何以闭式表达从复多重集中随机选取 m 个元素之和的期望值与方差？
• RQ2 样本均值的方差与压缩感知中测量矩阵相干性之间存在何种关系？
• RQ3 所推导的方差表达式如何与矩阵相干性的已知界（如 Welch 界）关联？
• RQ4 样本均值的方差能否用 Frobenius 范数等基本矩阵范数及谱性质表示？
• RQ5 多重集结构与无放回采样在压缩感知背景下对和的分布特性有何影响？

主要发现

• 和 X(m,Φ_N) 的期望值为 E[X(m,Φ_N)] = (m/N)∑_{i=1}^N z_i，显示其与样本大小 m 呈线性关系。
• X(m,Φ_N) 的方差为 Var[X(m,Φ_N)] = [m(N−m)/(N²(N−1))]·(N∑|z_i|² − |∑z_i|²)，其值取决于元素的离散程度。
• 方差亦可表示为 Var[X(m,Φ_N)] = [m(N−m)/(N²(N−1))]·∑_{1≤i<k≤N} |z_i − z_k|²，从而与成对差值关联。
• 对于归一化样本均值 X̄(m,Φ_N)，其方差为 Var[X̄(m,Φ_N)] = [(N−m)/(mN²(N−1))]·(N∑|z_i|² − |∑z_i|²)，表明随着 m 增大，方差减小。
• 所推导的方差表达式与矩阵 A 的相干性直接相关，且等号成立条件与 Welch 界一致。
• 结果建立了样本均值方差与矩阵 A 的 Frobenius 范数、最大奇异值及相干性之间的不等式与等式关系，为压缩感知应用提供了理论界。