[论文解读] AIMS:Average Information Matrix Splitting

Shengxin Zhu, Tong-Xiang Gu+1 more|arXiv (Cornell University)|May 24, 2016

Statistical Mechanics and Entropy参考文献 18被引用 4

一句话总结

本文提出了 AIMS（平均信息矩阵分割）方法，这是一种用于线性混合模型的计算方法，其将观测信息矩阵与费雪信息矩阵的平均值分解为计算简便的必要部分和可忽略的随机零矩阵部分。主要贡献在于证明了即使在方差-协方差矩阵并非关于方差成分线性依赖的情况下，平均信息矩阵的必要部分依然保持解析可处理性与计算高效性，显著降低了大规模模型（如全基因组关联研究中的模型）中方差参数估计的计算成本。

ABSTRACT

For linear mixed models with co-variance matrices which are not linearly dependent on variance component parameters, we prove that the average of the observed information and the Fisher information can be split into two parts. The essential part enjoys a simple and computational friendly formula, while the other part which involves a lot of computations is a random zero matrix and thus is negligible.

研究动机与目标

• 解决在大规模线性混合模型中进行最大似然估计时评估观测信息矩阵的高计算成本问题。
• 将平均信息矩阵分割技术扩展至协方差矩阵非线性依赖的模型之外。
• 通过简化海森矩阵近似，提供一种计算高效的费雪-评分算法替代方法。
• 实现在全基因组关联研究等高通量统计应用中的可扩展推断。

提出的方法

• 提出将观测信息矩阵与费雪信息矩阵的平均值分解为两部分：必要部分与余项部分。
• 利用残差对数似然函数和投影矩阵 P，推导出平均信息矩阵必要部分的解析表达式。
• 证明余项部分在期望下为随机零矩阵，因此在估计中可忽略。
• 利用恒等式 P = H⁻¹ − H⁻¹X(XᵀH⁻¹X)⁻¹XᵀH⁻¹ 简化迹运算与二次型计算。
• 应用迭代期望定律与矩阵迹恒等式，证明余项期望值为零。
• 建立平均信息矩阵必要部分在期望下与费雪信息矩阵一致，确保统计一致性。

实验结果

研究问题

• RQ1 在协方差矩阵非线性依赖于参数的线性混合模型中，平均信息矩阵能否被有效分解为计算简便部分与可忽略余项？
• RQ2 当方差-协方差矩阵并非关于参数线性时，平均信息矩阵的余项部分是否仍能在期望下消失？
• RQ3 如何在不牺牲统计精度的前提下，降低最大似然估计中海森矩阵评估的计算负担？
• RQ4 平均信息矩阵的必要部分是否足以实现大规模模型中方差参数估计的高效性？
• RQ5 AIMS 框架是否可推广至非线性参数化协方差结构，例如在复杂遗传或空间模型中应用？

主要发现

• 平均信息矩阵可分解为具有简单解析公式的必要部分与在期望下为随机零矩阵的余项部分。
• 平均信息矩阵的必要部分计算高效，避免了昂贵的海森矩阵评估。
• 余项部分具有零期望，即使协方差矩阵非关于方差参数线性依赖，其在估计中亦可忽略。
• 必要部分在期望下与费雪信息矩阵一致，保持了统计效率。
• 该方法显著降低了大规模线性混合模型中最大似然估计的计算成本。
• 该方法使高维场景（如全基因组关联研究）中的可扩展推断成为可能。