[論文レビュー] Restricted maximum likelihood estimation in generalized linear mixed models

Luca Maestrini, Francis K. C. Hui+1 more|arXiv (Cornell University)|Feb 20, 2024

Advanced Statistical Methods and Models被引用数 5

ひとこと要約

GLMMs（一般化線形混合モデル）に対するREML推定法の包括的なレビューで、4つの主要なアプローチを分類し、シミュレーションにおける有限サンプルのバイアスを比較します。共通のREML目的関数は、方法間でしばしば類似した推定値へ収束します。

ABSTRACT

Restricted maximum likelihood (REML) estimation is a widely accepted and frequently used method for fitting linear mixed models, with its principal advantage being that it produces less biased estimates of the variance components. However, the concept of REML does not immediately generalize to the setting of non-normally distributed responses, and it is not always clear the extent to which, either asymptotically or in finite samples, such generalizations reduce the bias of variance component estimates compared to standard unrestricted maximum likelihood estimation. In this article, we review various attempts that have been made over the past four decades to extend REML estimation in generalized linear mixed models. We establish four major classes of approaches, namely approximate linearization, integrated likelihood, modified profile likelihoods, and direct bias correction of the score function, and show that while these four classes may have differing motivations and derivations, they often arrive at a similar if not the same REML estimate. We compare the finite sample performance of these four classes, along with methods for REML estimation in hierarchical generalized linear models, through a numerical study involving binary and count data, with results demonstrating that all approaches perform similarly well reducing the finite sample size bias of variance components. Overall, we believe REML estimation should more widely adopted by practitioners using generalized linear mixed models, and that the exact choice of which REML approach to use should, at this point in time, be driven by software availability and ease of implementation.

研究の動機と目的

• 線形混合モデルを超える分散成分のバイアス低減ツールとして、GLMMsにおけるREMLを動機づける。
• GLMMに適用可能なREML法の4つの大別クラスを要約する: approximate linearization、integrated likelihood、modified profile likelihood、そしてscore関数の直接的なバイアス訂正。
• これらのアプローチがどのように関連し、実務でしばしば類似したREML推定値をもたらすかを明確にする。
• Rを用いた小規模な数値研究を通じた実践的実装と比較に関する指針を提供する。

提案手法

• GLMMsのREML法を4つのカテゴリーに分類する: approximate linearization、integrated likelihood、modified profile likelihood、そしてprofile score関数の直接的なバイアス訂正。
• 各クラス内の代表的手法を説明する（例：Schall 1991; Wolfinger and O’Connell 1993; Breslow and Clayton 1993; Verbyla 1990の導出）と、それらと線形混合モデルの結果とのつながり。
• これらの異なる導出がGLMMsにおいてしばしば同じREML目的関数へ収束することを示す。
• 有限サンプルのバイアスを評価するため、二値データとカウントデータを用いた小規模なシミュレーション研究を提示する。
• ベクトル化されたGLMMの定式化と周辺尤度におけるREML調整項の役割を説明する。
• RでREMLを実装する際の実務的考慮事項を論じる。

実験結果

リサーチクエスチョン

• RQ1 非正規応答と非恒等リンクを持つGLMMsに対して、REMLはどのように定義され、推定され得るか？
• RQ2 四つの主要なREMLクラス（approximate linearization、integrated likelihood、modified profile likelihood、direct score bias correction）は実務で同様のREML推定値を生むか？
• RQ3 GLMMsにおける分散成分の現在のREML法の有限サンプル性能はどのようか？
• RQ4 異なるREML導出は互いにどのように関連し、標準的なLMMのREMLとどのように関連するか？
• RQ5 RなどのソフトウェアでGLMM REMLを実装する実務者への指針は何か？

主な発見

• GLMMsに対する4つのREMLクラス: approximate linearization、integrated likelihood、modified profile likelihood、そしてscore関数の直接的バイアス訂正。
• 動機と導出が異なるにもかかわらず、これらのクラスはしばしば類似したREML推定値を生み出す。
• 二値データとカウントデータの有限サンプルシミュレーションは、ほとんどのREML法が分散成分のバイアスを同様に低減することを示す。
• GLMMsのREML推定量は漸近的に正規分布で、共分散はREML関数の情報行列によって与えられる。
• GLMMsの下で様々なREML定式化が同じ目的関数へ収束する統一的な見方が浮かび上がる。
• このレビューは、分散成分のバイアス低減に関する研究継続と方法間の実務的同等性を強調する。