[論文レビュー] AIMS:Average Information Matrix Splitting

Shengxin Zhu, Tong-Xiang Gu+1 more|arXiv (Cornell University)|May 24, 2016

Statistical Mechanics and Entropy参考文献 18被引用数 4

ひとこと要約

本稿では、観測情報行列とフィッシャー情報行列の平均を、計算的に単純な主要部分と無視できるランダムゼロ行列に分割する計算手法AIMS（Average Information Matrix Splitting）を導入する。主な貢献は、分散共分散行列が分散成分に対して線形に依存しない場合でも、平均情報行列の主要部分が解析的に扱いやすく、計算的に効率的であることを証明したことである。これにより、全ゲノム関連解析などの大規模モデルにおける分散パラメータ推定のコストを顕著に低減できる。

ABSTRACT

For linear mixed models with co-variance matrices which are not linearly dependent on variance component parameters, we prove that the average of the observed information and the Fisher information can be split into two parts. The essential part enjoys a simple and computational friendly formula, while the other part which involves a lot of computations is a random zero matrix and thus is negligible.

研究の動機と目的

• 大規模線形混合モデルにおける最尤推定の観測情報行列評価にかかる高い計算コストに対処すること。
• 線形に依存する共分散行列を持つモデルに限らない、平均情報行列分割技術の拡張。
• ヘッシアン近似を単純化することで、フィッシャー・スコア法の計算的に効率的な代替手法を提供すること。
• 全ゲノム関連解析などのハイブリッド統計応用分野におけるスケーラブルな推論を可能にすること。

提案手法

• 観測情報行列とフィッシャー情報行列の平均を、主要部分と残差に分割する手法を提案。
• 残差対数尤度関数と射影行列Pを用いて、平均情報行列の主要部分の解析的表現を導出。
• 残差部分が期待値においてランダムゼロ行列であることを示し、推定において無視可能であることを確認。
• トレースおよび二次形式の計算を簡略化するため、恒等式P = H⁻¹ − H⁻¹X(XᵀH⁻¹X)⁻¹XᵀH⁻¹を用いる。
• 反復期待値の法則と行列トレースの恒等式を用いて、残差部分の期待値がゼロであることを証明。
• 平均情報行列の主要部分が期待値においてフィッシャー情報行列と一致することを確立し、統計的整合性を保証。

実験結果

リサーチクエスチョン

• RQ1 分散共分散行列が分散成分に対して線形に依存しない線形混合モデルにおいて、平均情報行列を計算的に単純な部分と無視できる残差に効果的に分割できるか？
• RQ2 分散共分散行列がパラメータに対して線形でない場合でも、平均情報行列の残差部分の期待値がゼロとなるか？
• RQ3 最尤推定におけるヘッシアン評価の計算負荷を、統計的精度を損なわずにどのように低減できるか？
• RQ4 平均情報行列の主要部分が大規模モデルにおける効率的分散パラメータ推定に十分か？
• RQ5 AIMSフレームワークは、線形パラメータ化された共分散構造にとどまらず、複雑な遺伝的・空間的モデルなどにも応用可能か？

主な発見

• 平均情報行列は、単純な解析的公式を持つ主要部分と、期待値においてランダムゼロ行列である残差に分解可能である。
• 平均情報行列の主要部分は計算的に効率的であり、高価なヘッシアン評価を回避できる。
• 残差部分の期待値がゼロであるため、分散成分に対して線形でない場合でも推定において無視可能である。
• 主要部分は期待値においてフィッシャー情報行列と一致し、統計的効率性が保たれる。
• 本手法は、大規模線形混合モデルにおける最尤推定の計算コストを顕著に低減する。
• 本手法により、全ゲノム関連解析のような高次元設定におけるスケーラブルな推論が可能になる。