[論文レビュー] Computing log-likelihood and its derivatives for restricted maximum likelihood methods

Shengxin Zhu|arXiv (Cornell University)|Aug 25, 2016

Genetic Mapping and Diversity in Plants and Animals参考文献 31被引用数 4

ひとこと要約

本稿では、大規模な線形混合モデルにおける制限付き最尤推定（REML）の対数尤度およびその微分を計算するための効率的な計算フレームワークを提示する。行列変換と平均情報分割技術を活用することで、ヤコビ行列に含まれる計算コストの高いトレース項を4つの行列-ベクトル積に削減し、スパース線形ソルバーを用いた多階層的LDL^T分解を介してスケーラブルなニュートン・ラプソン最適化を実現する。

ABSTRACT

Recent large scale genome wide association analysis involves large scale linear mixed models. Quantifying (co)-variance parameters in the mixed models with a restricted maximum likelihood method results in a score function which is the first derivative of a log-likelihood. To obtain a statistically efficient estimate of the variance parameters, one needs to find the root of the score function via the Newton method. Most elements of the Jacobian matrix of the score involve a trace term of four parametric matrix-matrix multiplications. It is computationally prohibitively for large scale data sets. By a serial matrix transforms and an averaged information splitting technique, an approximate Jacobian matrix can be obtained by splitting the average of the Jacobian matrix and its expected value. In the approximated Jacobian, its elements only involve Four matrix vector multiplications which can be efficiently evaluated by solving sparse linear systems with the multi-frontal factorization method.

研究の動機と目的

• 大規模な線形混合モデルにおけるREML推定の計算ボトルネックを解消すること。特に、全ゲノム関連解析において顕著な問題となる。
• スコア関数のヤコビ行列に含まれるトレース項の計算コストを克服すること。
• 高次元データに対する対数尤度およびその微分を数値的に安定かつスケーラブルに計算する手法を開発すること。
• 平均情報分割を用いたヤコビアン近似により、REMLにおける効率的なニュートン・ラプソン最適化を可能にすること。
• 新規研究者によるアクセス性と再現可能性を高めるために、対数尤度微分の自己完備的導出を提供すること。

提案手法

• 複雑なヤコビ行列を扱いやすい構成に分解するため、連続的な行列変換を適用する。
• ヤコビ行列を主部と無視できる期待値部に分離する平均情報分割技術を導入する。
• ヤコビアンの主部のみを用いて近似し、その要素は観測ベクトルを含む2次形式に依存する。
• 各2次形式を4つの行列-ベクトル積に還元し、スパース線形系を効率的に解く。
• 同じ係数行列を共有する複数の右辺系を解くために、マルチフロントまたはスーパー・ノード型LDL^T分解を活用する。
• スパース精度行列CのLDL^T分解に基づいて尤度評価を実施し、観測数よりも小さいサイズとなる。

実験結果

リサーチクエスチョン

• RQ1 大規模モデルにおけるREMLヤコビ行列のトレース項をどのように近似することで計算コストを低減できるか？
• RQ2 どのような行列分解技術が高次元線形混合モデルにおける対数尤度微分の効率的評価を可能にするか？
• RQ3 平均情報分割を用いたヘッシアン近似によって、REML推定におけるニュートン・ラプソン法をスケーラブルにできるか？
• RQ4 提案手法は、従来の導関数フリーまたはフルヤコビアン手法と比較して、効率性と正確性の面で優れているか？
• RQ5 スパース行列因子分解は、ゲノミクスデータにおけるスケーラブルなREML計算を実現するために果たす役割は何か？

主な発見

• 提案された平均情報分割技術により、ヤコビ行列が支配的部と無視できる期待値部に効果的に分離され、計算複雑度が低減される。
• 近似ヤコビアンの要素は4つの行列-ベクトル積にのみ依存し、スパース線形解法により効率的に計算可能である。
• 2階微分の評価は、同じ係数行列Cを共有する複数の線形系の解法に還元され、因子分解の再利用が可能になる。
• 本手法により、全ゲノム関連解析などのハイパーフィーチャー生物学的データにおけるスケーラブルなREML推定が実現される。
• 対数尤度微分の自己一貫的導出により、研究者や実務家が明確かつアクセスしやすいリファレンスが提供される。
• マルチフロントLDL^T因子分解の活用により、スパースかつ大規模な問題に対する数値的安定性と効率性が保証される。