[論文レビュー] Verifying the existence of maximum likelihood estimates for generalized linear models

Sergio Correia, Paulo Guimarães+1 more|arXiv (Cornell University)|Mar 5, 2019

Global trade and economics参考文献 38被引用数 39

ひとこと要約

本論文は、最大尤度推定（ML）が存在しない場合が生じる条件を、ポアソンモデルや擬似MLなどを含む広範な一般化線形モデル（GLM）に対して特徴づけ、実用的な検出と対処法を提供する。特に固定効果を伴う高次元設定において。

ABSTRACT

A fundamental problem with nonlinear models is that maximum likelihood estimates are not guaranteed to exist. Though nonexistence is a well known problem in the binary response model literature, it presents significant challenges for other models and is not as well understood in more general settings. These challenges are only magnified for models that feature many fixed effects and other high-dimensional parameters. We address the current ambiguity surrounding this topic by studying the conditions that govern the existence of estimates for (pseudo-)maximum likelihood estimators used to estimate a wide class of generalized linear models (GLMs). We show that some, but not all, of these GLM estimators can still deliver consistent estimates of at least some of the linear parameters when these conditions fail to hold. We also demonstrate how to verify these conditions in models with high-dimensional parameters, such as panel data models with multiple levels of fixed effects.

研究の動機と目的

• GLMにおけるMLおよび擬似ML推定が存在しない条件を、2値・非2値の結果を跨いで明確化する。
• 非存在が生じても、一部の線形パラメータは一貫して推定できることを示す。
• 固定効果を伴う高次元モデルにおける分離を検出する実用的な手法を開発する。
• 分離があっても内点解を持つパラメータのモデル適合と推定を保持する是正戦略を提案する。

提案手法

• ML非存在（分離）の必要十分条件を、全(rank)設計行列と観測毎尤度が有界である場合に導出する。
• 観測ごとの尤度が有界でない場合があり得るガンマPMLおよび逆ガウスPMLへ分析を拡張する。
• 分離を検出するための簡易でスケーラブルなアルゴリズムを、等式制約付き回帰の反復最小二乗法に基づき導入し、高次元LS手法を活用して実装する。
• 分離にもかかわらず内点パラメータの一貫性と妥当な推定を確立する再パラメータ化の議論を提供する。
• 分離の解釈と、分離の証明（certificate of separation）概念と重なり（overlap）考慮を通じて正当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 広範なGLM設定でMLまたは擬似ML推定が存在しないのはどの条件か？
• RQ2 分離が生じても一部の線形パラメータは一貫して推定できるのか、どの推定量でこれが成り立つのか？
• RQ3 多くの固定効果を含む高次元モデルで分離を効率的に検出する方法は？
• RQ4 情報量を失わせず、モデル適合と有効な推定を維持する是正策は？

主な発見

• 分離はPoissonモデルだけでなく、広範なGLMクラスで潜在的問題である。
• 分離が生じても、一部の線形パラメータは一貫して推定でき、推定に基づく推論は有効であるが、検討されたすべての推定量に拡張されるわけではない。
• Gamma PMLおよび逆ガウスPMLは、Poissonおよび二値ロジット/プロビットより非存在の条件が厳しく、分離時の影響がより深刻である。
• 反復的な等式制約付き最小二乗法に基づく単純でスケーラブルなアルゴリズムは、多くの固定効果がある場合でも分離を検出でき、重い線形計画法を回避できる。
• 本論は非存在を、条件付き平均が境界値に近づくことができるコンパクト化GLMフレームワークと結びつけ、問題をコーナー解へと変換する。
• 著者らは分離方向を特定する証明書（certificate of separation）の概念を導入し、Poisson、PML、および分数データモデルに関連する重複(overlap)基準を論じる。