[論文レビュー] Asymptotics of numerical integration for two-level mixed models

Alex Stringer, Blair Bilodeau+1 more|arXiv (Cornell University)|Feb 16, 2022

Statistical Methods and Bayesian Inference被引用数 5

ひとこと要約

本稿は、2レベルの混合モデルにおける適応的数値積分のための、初めての包括的な漸近的理論を確立し、適応的台形則が、正確な尤度推定と同一の大標本的性質を持つ一貫した最尤推定量をもたらすことを証明している。さらに、尤度関数がその最頻値まわりに集中するモデルでは非適応的積分が一貫した推定量を生じないことを示しており、不確実な積分を伴う混合モデルにおける有効な推定のためには適応的手法が不可欠であることを示している。

ABSTRACT

We study mixed models with a single grouping factor, where inference about unknown parameters requires optimizing a marginal likelihood defined by an intractable integral. Low-dimensional numerical integration techniques are regularly used to approximate these integrals, with inferences about parameters based on the resulting approximate marginal likelihood. For a generic class of mixed models that satisfy explicit regularity conditions, we derive the stochastic relative error rate incurred for both the likelihood and maximum likelihood estimator when adaptive numerical integration is used to approximate the marginal likelihood. We then specialize the analysis to well-specified generalized linear mixed models having exponential family response and multivariate Gaussian random effects, verifying that the regularity conditions hold, and hence that the convergence rates apply. We also prove that for models with likelihoods satisfying very weak concentration conditions that the maximum likelihood estimators from non-adaptive numerical integration approximations of the marginal likelihood are not consistent, further motivating adaptive numerical integration as the preferred tool for inference in mixed models. Code to reproduce the simulations in this paper is provided at https://github.com/awstringer1/aq-theory-paper-code.

研究の動機と目的

• 不確実な積分を含む2レベル混合モデルにおける数値積分の厳密な漸近的理論の構築。
• 正確な尤度推定と同一の漸近的性質を持つ一貫した最尤推定量をもたらす適応的数値積分が成立する条件の確立。
• 正規化された尤度関数がその最頻値まわりに集中するモデルでは、非適応的積分規則が一貫した推定量を生成できないことを証明すること。
• 指数型分布族の応答変数と多変量ガウス型確率的効果を伴う適切に定式化された一般化線形混合モデルに対して、導出された正則性条件が成立することの検証。
• 本研究で扱ったクラスとは異なる新しい混合モデル設定における数値積分の漸近的妥当性を評価するための一般的で検証可能なフレームワークの提供。

提案手法

• 適応的数値積分のもとでの近似尤度および最尤推定量の確率的相対誤差率を導出する。
• 応答変数および確率的効果の分布にかかる、明示的かつ検証可能な正則性条件（仮定2〜7）を導入し、収束を保証する。
• これらの条件下で、適応的台形則に基づく近似最尤推定量が一貫的かつ漸近的に正規分布に従うことを証明し、正確な最尤推定量と同一の極限分布を持つことを示す。
• 指数型分布族の応答変数と多変量ガウス型確率的効果を伴う一般化線形混合モデルに対して、正則性条件が成立することを検証する。
• 尤度近似の局所的一様確率収束を主な技術的道具として用い、主要な収束結果を確立する。
• 理論的結果の実務的意義を説明するためのシミュレーションとGitHub上のコードを提供する。

実験結果

リサーチクエスチョン

• RQ1 不確実な積分を伴う2レベル混合モデルにおいて、適応的数値積分が一貫した最尤推定量を生成する条件は何か？
• RQ2 尤度関数がその最頻値まわりに集中するモデルでは、なぜ非適応的数値積分手法が一貫した推定量を生成できないのか？
• RQ3 適応的台形則に基づく最尤推定量の漸近的性質が、正確な尤度推定と一致することを示せるか？
• RQ4 適応的積分の収束に必要な正則性条件は、一般化線形混合モデルのような現実世界のモデルに対して十分に一般的かつ検証可能か？
• RQ5 理論的フレームワークを、本研究で取り上げたクラスとは異なる新規または非標準的な混合モデル仕様への数値積分の妥当性評価にどう応用できるか？

主な発見

• 適応的台形則を用いる限り、積分規則の精度が十分に高ければ、近似最尤推定量が一貫的かつ漸近的に正規分布に従い、正確な最尤推定量と同一の極限分布を持つことが保証される。
• 正規化された尤度関数がその最頻値まわりに集中するいかなる統計的モデルにおいても、非適応的数値積分は一貫した推定量を生成できない。これは、台形点の数がいくら多くても同様である。
• 本稿では、指数型分布族の応答変数と多変量ガウス型確率的効果を伴う一般化線形混合モデルに対して、必要な正則性条件が成立することを検証しており、この広く使われるモデルクラスへの理論の適用可能性を確認している。
• 適応的積分のもとで、尤度および最尤推定量の確率的相対誤差率が導出され、台形則の次数を増やすことで収束速度を任意に速くできることが示された。
• 正則性条件が満たされていれば、弱い集中条件のもとでも一貫性が保たれるため、理論はモデルの誤指定に対してもロバストである。
• 現在進行中の研究で、高次元の潜在変数へと結果を拡張しており、ラプラス近似および空間ガウス過程に関する関連文献からの理論的支援を得ている。