[论文解读] Information Matrix Splitting

Shengxin Zhu, Tong-Xiang Gu+1 more|arXiv (Cornell University)|May 24, 2016

Neural Networks and Applications参考文献 12被引用 5

一句话总结

本文提出信息矩阵分解方法用于线性混合模型，将观测信息与费雪信息的平均值分解为一个简化确定性分量和一个可忽略的随机零矩阵。该方法通过利用计算上可行的公式，实现高效的海森矩阵近似，同时保持统计准确性，避免在高通量生物数据上进行昂贵的海森矩阵计算。

ABSTRACT

Efficient statistical estimates via the maximum likelihood method requires the observed information, the negative of the Hessian of the underlying log-likelihood function. Computing the observed information is computationally prohibitive for high-throughput biological data, therefore, the expected information matrix---the Fisher information matrix---is often preferred due to its simplicity. In this paper, we prove that the average of the observed and the Fisher information of restricted/residual log-likelihood functions for linear mixed models can be split into two matrices. The expectation of one part is the Fisher information matrix but enjoys a simper formula than the Fisher information matrix. The other part which involves a lot of computations is a random zero matrix and thus is negligible. Leveraging such a splitting can simplify evaluation of the approximate Hessian of a log-likelihood function.

研究动机与目标

• 解决在高通量生物数据分析中计算观测信息矩阵的计算不可行性。
• 开发一种计算高效的观测信息矩阵替代方法，同时保持统计准确性。
• 证明观测信息矩阵与费雪信息矩阵的平均值可分解为一个可处理的分量和一个可忽略的随机分量。
• 简化在限制/残差对数似然设定下对对数似然函数近似海森矩阵的评估。

提出的方法

• 该方法将观测信息矩阵与费雪信息矩阵的平均值分解为两部分：一个确定性部分和一个随机部分。
• 确定性部分的期望等于费雪信息矩阵，但其公式比标准费雪信息矩阵更简单。
• 随机部分在期望下为零矩阵，因此在大样本下可忽略。
• 该方法利用线性混合模型中限制对数似然和残差对数似然函数的性质。
• 该分解使得可将简化后的确定性部分用作海森矩阵的代理，从而避免直接计算海森矩阵。

实验结果

研究问题

• RQ1 在高维线性混合模型中，能否高效地近似观测信息矩阵？
• RQ2 观测信息矩阵与费雪信息矩阵的平均值是否可分解为简化海森矩阵评估的形式？
• RQ3 分解后信息矩阵的随机分量在期望下是否可忽略？
• RQ4 简化后的确定性分量能否替代完整海森矩阵用于基于似然的推断？

主要发现

• 观测信息矩阵在高通量生物数据上计算成本过高，促使人们寻求高效的替代方法。
• 观测信息矩阵与费雪信息矩阵的平均值可分解为一个确定性分量和一个随机零矩阵。
• 确定性分量的期望等于费雪信息矩阵，但其公式比标准费雪信息矩阵更简单。
• 随机分量在期望下可忽略，因此可省略而不损失统计准确性。
• 简化后的确定性分量为对数似然函数海森矩阵提供了高效且准确的近似。