[論文レビュー] Estimation and Inference for Very Large Linear Mixed Effects Models

Katelyn Gao, A. B. Owen|arXiv (Cornell University)|Oct 25, 2016

Statistical Methods and Bayesian Inference参考文献 19被引用数 5

ひとこと要約

本稿では、交差するランダム効果を伴う非常に大きな線形混合効果モデルに対して、反復的に固定効果と分散成分を推定することにより、O(N)の計算コストを達成するスケーラブルなモーメント法推定量を提案する。この手法は、回帰係数および分散成分について一貫性と漸近正規性を保証し、有効な分散推定値を提供する。これにより、パラメトリックな仮定や収束診断を必要とせず、大規模データにおける効率的な推論が可能になる。

ABSTRACT

Linear mixed models with large imbalanced crossed random effects structures pose severe computational problems for maximum likelihood estimation and for Bayesian analysis. The costs can grow as fast as $N^{3/2}$ when there are N observations. Such problems arise in any setting where the underlying factors satisfy a many to many relationship (instead of a nested one) and in electronic commerce applications, the N can be quite large. Methods that do not account for the correlation structure can greatly underestimate uncertainty. We propose a method of moments approach that takes account of the correlation structure and that can be computed at O(N) cost. The method of moments is very amenable to parallel computation and it does not require parametric distributional assumptions, tuning parameters or convergence diagnostics. For the regression coefficients, we give conditions for consistency and asymptotic normality as well as a consistent variance estimate. For the variance components, we give conditions for consistency and we use consistent estimates of a mildly conservative variance estimate. All of these computations can be done in O(N) work. We illustrate the algorithm with some data from Stitch Fix where the crossed random effects correspond to clients and items.

研究の動機と目的

• 交差するランダム効果を伴う大規模線形混合モデルにおいて、最尤推定やベイズ的手法の計算的非現実性に対処すること。
• eコマースやその他の大規模データ応用で一般的な大規模かつ非平衡なデータ設定において、従来手法のO(N^{3/2})のスケーリングコストを克服すること。
• 計算コストをO(N)に削減しながらも統計的精度を維持する手法を開発し、非常に大きなデータセットにおける実用的な推論を可能にすること。
• 正規分布仮定を必要とせず、固定効果（β）および分散成分（σ²_A, σ²_B, σ²_E）の両方について一貫性と漸近正規性を持つ推定値を提供すること。
• 正規分布でない誤差を持つ現実世界のデータに適した、一貫性があり保守的な公式に基づくβおよび分散成分の信頼性のある分散推定を可能にすること。

提案手法

• 2段階の交互的モーメント法を提案：まず、モデルの条件付き期待値構造から導かれるモーメント条件を用いてβを推定し、次に2次のモーメント条件を用いて分散成分を推定する。
• 有限標本におけるβの分散公式を用い、σ²_A、σ²_B、σ²_Eの一致推定量を代入することで、漸近的近似を必要としない有効な推論を保証する。
• GaoとOwen（2017）に基づくやや保守的な分散成分推定量を適用し、正規分布仮定が成り立たない場合でもロバスト性を確保する。
• 交差するランダム効果の構造を活用し、(R+C)³の行列逆行列計算を回避することで、O(N)の計算複雑度を達成する。
• モーメント推定量のモジュラー構造を活かして並列計算を可能とし、分散システムにおけるスケーラビリティを向上させる。
• 調整パrameterや収束診断、分布仮定を回避することで、実用的かつロバストで導入が容易な手法を実現する。

実験結果

リサーチクエスチョン

• RQ1 モーメント法のアプローチは、交差するランダム効果を伴う非常に大きな線形混合モデルにおいて、固定効果および分散成分の両方について一貫性と漸近正規性を持つ推定が可能か？
• RQ2 このような手法の計算コストは何か？従来手法のO(N^{3/2})と比較して、観察数Nに比例して線形にスケーリング可能か？
• RQ3 βおよび分散成分の平均二乗誤差の観点から、モーメント法の統計的効率性は最尤推定（MLE）と比べてどの程度か？
• RQ4 パラメトリックな仮定や収束診断に依存せずに、βおよび分散成分の有効な分散推定値を構築できるか？
• RQ5 尤度ベースの分散推定値が不一致となる可能性がある非正規誤差分布下でも、この手法は信頼性を保つのか？

主な発見

• 本手法はO(N)の計算コストとO(R + C)のメモリ使用量を達成し、N > 10^6の観察数を持つデータセットに対しても実用的である。
• βの推定量は一貫性があり、漸近正規性を示す。分散推定値は、一致した分散成分推定量を用いた正確な有限標本公式から導出される。
• σ²_Aおよびσ²_Bの分散成分について、モーメント法は最尤推定とほぼ同等の平均二乗誤差を達成しており、高い効率性を示す。
• βおよびσ²_Eについて、MLEと比較してやや効率性が低下するが、計算コストの顕著な削減がこれを相殺する。
• 正規分布でない誤差分布下でも本手法は有効であり、尤度ベースの分散推定値が不一致となる場合でもロバスト性を示す。
• 有効サンプルサイズは1/√εに従うことが示され、ここでε = max(ε_R, ε_C)である。これは、スパarsityや非平衡設計における有効サンプルサイズの保守的解釈を示唆する。