[论文解读] Minimax estimation in linear models with unknown design over finite alphabets

Merle Behr, Axel Munk|arXiv (Cornell University)|Nov 11, 2017

Advanced Wireless Communication Techniques参考文献 38被引用 4

一句话总结

本文提出了一种极小极大最优、线性时间的估计方法，用于在多变量线性模型 Y = 𝔽𝝎 + Z 中联合恢复未知的设计矩阵 𝔽 和参数矩阵 𝝎，其中 𝔽 取值于一个已知的有限字母表。该方法在弱可识别性条件下实现精确恢复，并在高斯噪声下对 𝔽 和 𝝎 均达到极小极大最优率。

ABSTRACT

We provide a minimax optimal estimation procedure for F and W in matrix valued linear models Y = F W + Z where the parameter matrix W and the design matrix F are unknown but the latter takes values in a known finite set. The proposed finite alphabet linear model is justified in a variety of applications, ranging from signal processing to cancer genetics. We show that this allows to separate F and W uniquely under weak identifiability conditions, a task which is not doable, in general. To this end we quantify in the noiseless case, that is, Z = 0, the perturbation range of Y in order to obtain stable recovery of F and W. Based on this, we derive an iterative Lloyd's type estimation procedure that attains minimax estimation rates for W and F for Gaussian error matrix Z. In contrast to the least squares solution the estimation procedure can be computed efficiently and scales linearly with the total number of observations. We confirm our theoretical results in a simulation study and illustrate it with a genetic sequencing data example.

研究动机与目标

• 解决在设计矩阵 𝔽 受限于已知有限取值集合的线性模型中，联合估计未知设计矩阵 𝔽 和参数矩阵 𝝎 的统计挑战。
• 建立模型可识别的条件，从而实现从观测数据 Y 中唯一分离 𝔽 和 𝝎。
• 开发一种计算高效的估计方法，其计算复杂度与观测数呈线性关系，并实现极小极大最优率。
• 在无噪声情况下提供精确恢复的理论保证，并在独立同分布高斯噪声下提供极小极大估计率的理论保证。
• 通过模拟实验和在癌症遗传学中使用基因测序数据的真实世界应用，验证该方法的有效性。

提出的方法

• 提出多变量有限字母表盲分离（MABS）模型，其中 𝔽 ∈ 𝔸ⁿˣᵐ，且 𝔸 为已知的有限集合，从而实现 𝔽 和 𝝎 的可识别性。
• 引入一种类似 Lloyd 算法的迭代方法，通过在给定 𝔽 时估计 𝝎，以及在给定 𝝎 时更新 𝔽，利用有限字母表约束。
• 对观测矩阵 Y 进行扰动分析，量化在无噪声情况下 𝔽 和 𝝌 的稳定恢复区域。
• 推导估计误差的极小极大下界，并证明所提出的算法在对数因子范围内达到这些下界。
• 使用 Frobenius 范数和 ∞,2 范数衡量估计误差，并通过浓度不等式控制噪声传播。
• 将该方法应用于真实数据，使用基因测序数据集，以展示其在癌症遗传学中的实际应用价值。

实验结果

研究问题

• RQ1 当 𝔽 未知但受限于有限字母表时，设计矩阵 𝔽 和参数矩阵 𝝎 在什么条件下可从 Y = 𝔽𝝎 + Z 中被唯一恢复？
• RQ2 在独立同分布高斯噪声下，有限字母表线性模型中 𝔽 和 𝝘 的极小极大最优估计率是多少？
• RQ3 能否构建一种高效、线性时间的算法，使其在该设定下达到极小极大最优性？
• RQ4 所提出的方法在无噪声情况下的精确恢复和有噪声情况下的稳定恢复表现如何？
• RQ5 该方法在真实世界应用（如盲源分离和基因测序数据分析）中的泛化能力如何？

主要发现

• 有限字母表约束使得在弱条件下即可实现 𝔽 和 𝝎 从 Y 的可识别性，从而在标准线性模型无法恢复的一般情形下实现模型恢复。
• 所提出的迭代算法在独立同分布高斯噪声下，对 𝔽 和 𝝎 均达到极小极大最优估计率，仅相差对数因子。
• 在无噪声情况下，若观测矩阵 Y 落在由信噪比和字母表结构决定的扰动范围内，则 𝔽 和 𝝎 可实现精确恢复。
• 该算法的计算复杂度与总观测数呈线性关系，相比标准最小二乘方法更具计算效率。
• 通过浓度不等式和扰动分析建立了理论保证，表明该方法以高概率恢复真实参数。
• 在模拟数据和真实基因测序数据集上的实证验证结果表明，该方法在癌症遗传学和信号处理应用中具有鲁棒性和实际相关性。