[論文レビュー] Scalable Algorithms for Learning High-Dimensional Linear Mixed Models

Zilong Tan, Kimberly Roche+2 more|arXiv (Cornell University)|Mar 12, 2018

Statistical Methods and Inference参考文献 24被引用数 4

ひとこと要約

本稿では、核行列と部分抽出ランダム化ハダマード変換（SRHT）に基づく新しい双対推定器を用いて、スケーラブルで部分線形時間計算量のアルゴリズムを、高次元線形混合モデル（LMMs）の学習に提案する。この手法は、理論的誤差保証を達成し、最先端の手法と比較して計算コストを顕著に低減し、理論的頑健性を備えた高次元設定における効率的なパラメータ推定を可能にする。

ABSTRACT

Linear mixed models (LMMs) are used extensively to model dependecies of observations in linear regression and are used extensively in many application areas. Parameter estimation for LMMs can be computationally prohibitive on big data. State-of-the-art learning algorithms require computational complexity which depends at least linearly on the dimension $p$ of the covariates, and often use heuristics that do not offer theoretical guarantees. We present scalable algorithms for learning high-dimensional LMMs with sublinear computational complexity dependence on $p$. Key to our approach are novel dual estimators which use only kernel functions of the data, and fast computational techniques based on the subsampled randomized Hadamard transform. We provide theoretical guarantees for our learning algorithms, demonstrating the robustness of parameter estimation. Finally, we complement the theory with experiments on large synthetic and real data.

研究の動機と目的

• 共変数次元pに線形に依存するため、高次元線形混合モデル（LMMs）のパラメータ推定が計算的に非現実的であるという問題に対処すること。
• 推定精度の理論的保証を維持しつつ、pに関して部分線形時間計算量となるアルゴリズムの開発。
• 元の共変数すべての固定効果係数を次元削減なしに効率的に推定し、高次元応用における効果量の解釈可能性を保持すること。
• 一般の共分散構造に対して反復的でないアプローチを提供するとともに、ブロック対角のランダム効果構造に対して高速なEM変種を提案すること。
• 合成データおよび実世界のゲノムデータ（例：WTCCCデータセット）において、実験的スピードと精度を示すこと。

提案手法

• n×nの核行列を部分抽出ランダム化ハダマード変換（SRHT）を用いて計算する近似双対推定器を導入し、p依存性を線形から部分線形に低減する。
• 従来の分散成分の代わりに、閉形式で表現可能な近似分散成分（AVCs）を提案し、固定効果推定の際の計算を効率化する。
• 一般の共分散行列に対して反復的でないアルゴリズムを採用し、ブロック対角のランダム効果構造に対して高速なEM変種を適用する。
• SRHTを用いて核行列の近似を高速化し、低ランク構造を維持するとともに、計算オーバーヘッドを最小限に抑える。
• 本手法を合成データおよび実世界のゲノムデータ（例：WTCCC）に適用し、最先端の手法（例：BSLMM）と性能を比較する。
• 理論的分析により、推定値と真値の間の誤差バウンドを明示し、パラメータ推定の頑健性を保証する。

実験結果

リサーチクエスチョン

• RQ1 高次元LMMsにおけるパラメータ推定において、pに関して部分線形時間計算量を達成しつつ、理論的保証を維持できるか？
• RQ2 次元削減なしに、すべてのp個の共変数の固定効果係数を効率的に推定でき、効果量の解釈可能性を保持できるか？
• RQ3 EMアルゴリズムにおける高価な行列逆行列計算を、閉形式のAVCsに置き換えることで、収束速度を向上させつつ精度を損なわないか？
• RQ4 実ゲノムデータにおいて、BSLMM や ARSVD といった最先端手法と比較して、実行時間および予測性能の点でどのように差がつくか？
• RQ5 さまざまなデータ次元およびノイズレベルにおいて、提案手法の実験的頑健性と精度はどの程度か？

主な発見

• 提案手法は、O(n²(k + log p) log k / ε²) の計算複雑度を達成し、pに関して部分線形であるため、既存手法と比較して最大n/log p倍の高速化が可能である。
• WTCCCデータセットにおいて、arLMM-AVCはT1Dで中央値20.4分（BSLMMは120.0分）を記録し、6倍の高速化を達成した。
• 7つの疾患すべてにおいて、arLMM-AVCとBSLMMの固定効果係数推定値の相関係数は0.977を超えており、高い推定精度を示した。
• AUCを用いた予測性能は、arLMM-AVCとBSLMMの間でほとんど同一であり、すべてのケースで差が0.01未満であった。
• 低、中、高の信号対ノイズ比の設定すべてにおいて、変数選択タスクで真の信号の90％以上を捉えることに成功した。
• 理論的分析により、近似誤差が高確率で有界であることが確認され、パラメータ推定の頑健性を保証する明確な保証が得られた。