[論文レビュー] Information Matrix Splitting

Shengxin Zhu, Tong-Xiang Gu+1 more|arXiv (Cornell University)|May 24, 2016

Neural Networks and Applications参考文献 12被引用数 5

ひとこと要約

本稿では、線形混合モデルにおける情報行列分割を提案し、観測情報とフィッシャー情報の平均を、単純化された決定論的成分と無視できるランダムゼロ行列に分解する。この手法により、計算的に扱いやすい公式を活用することで、高スループットな生物学的データにおけるコストの高いヘシアン計算を回避しつつ、統計的精度を維持した効率的なヘシアン近似が可能になる。

ABSTRACT

Efficient statistical estimates via the maximum likelihood method requires the observed information, the negative of the Hessian of the underlying log-likelihood function. Computing the observed information is computationally prohibitive for high-throughput biological data, therefore, the expected information matrix---the Fisher information matrix---is often preferred due to its simplicity. In this paper, we prove that the average of the observed and the Fisher information of restricted/residual log-likelihood functions for linear mixed models can be split into two matrices. The expectation of one part is the Fisher information matrix but enjoys a simper formula than the Fisher information matrix. The other part which involves a lot of computations is a random zero matrix and thus is negligible. Leveraging such a splitting can simplify evaluation of the approximate Hessian of a log-likelihood function.

研究の動機と目的

• 高スループットな生物学的データ解析における観測情報行列の計算不能性に対処すること。
• 統計的精度を維持しつつ、観測情報行列の計算的に効率的な代替手法を開発すること。
• 観測情報行列とフィッシャー情報行列の平均が、取り扱いやすい成分と無視できるランダム成分に分解可能であることを証明すること。
• 制限付き／残差対数尤度設定における対数尤度関数の近似ヘシアンの評価を簡素化すること。

提案手法

• 本手法は、観測情報行列とフィッシャー情報行列の平均を、決定論的成分とランダム成分の2つに分割する。
• 決定論的成分は、フィッシャー情報行列に等しい期待値を持つが、標準的なフィッシャー情報よりも簡単な公式を持つ。
• ランダム成分は期待値がゼロ行列であることが示され、大標本において無視可能である。
• 本手法は、線形混合モデルにおける制限付きおよび残差対数尤度関数の性質を活用する。
• 分割により、ヘシアンの代理として単純化された決定論的成分を用いることができ、直接のヘシアン計算を回避できる。

実験結果

リサーチクエスチョン

• RQ1 高次元の線形混合モデルにおいて、観測情報行列を効率的に近似できるか？
• RQ2 観測情報行列とフィッシャー情報行列の平均は、ヘシアン評価を簡素化する分解を許容するか？
• RQ3 分割された情報行列のランダム成分は期待値において無視可能か？
• RQ4 単純化された決定論的成分は、尤度に基づく推論において完全なヘシアンに置き換え可能か？

主な発見

• 観測情報行列は、高スループットな生物学的データに対して計算的に非現実的であるため、効率的な代替手法の必要性が生じる。
• 観測情報行列とフィッシャー情報行列の平均は、決定論的成分とランダムゼロ行列に分解可能である。
• 決定論的成分は、フィッシャー情報行列に等しい期待値を持つが、標準的なフィッシャー情報よりも簡単な公式を持つ。
• ランダム成分は期待値において無視可能であり、統計的精度を損なわずに無視可能である。
• 単純化された決定論的成分は、対数尤度関数のヘシアンに対する効率的かつ正確な近似を提供する。