[論文レビュー] Maximum Likelihood Estimation in Log-Linear Models: Theory and Algorithms

Stephen E. Fienberg, Alessandro Rinaldo|arXiv (Cornell University)|Apr 19, 2011

Bayesian Modeling and Causal Inference被引用数 13

ひとこと要約

この論文は、条件付きポアソン標本抽出における対数線形モデルにおける最尤推定量（MLE）の存在に関する必要十分条件を確立し、観測表における標本ゼロの役割に注目している。標準的なソフトウェアに内在する欠陥、特に存在しないMLEの取り扱いに関して、改善された拡張MLE推定のためのアルゴリズムを導入している。

ABSTRACT

We study maximum likelihood estimation in log-linear models under conditional Poisson sampling schemes. We derive necessary and sufficient conditions for existence of the maximum likelihood estimator (MLE) of the model parameters and investigate estimability of the natural and mean-value parameters under a non-existent MLE. Our conditions focus on the role of sampling zeros in the observed table. We situate our results within the general framework of extended exponential families and we rely in a fundamental way on key geometric properties of log-linear models. We propose algorithms for extended maximum likelihood estimation that improve and correct the existing algorithms for log-linear model analysis, especially as encapsulated in most standard computing packages, which appear to be oblivious to the problem of nonexistence of the MLE.

研究の動機と目的

• 条件付きポアソン標本抽出における対数線形モデルにおけるMLEの存在が成立する正確な条件を特定すること。
• MLEが存在しない場合における自然パラメータおよび平均値パラメータの推定可能性を分析すること。
• 標準的な統計ソフトウェアにおいて、対数線形モデルにおけるMLEの非存在についての認識不足が広く存在することに対処すること。
• 標準MLEが失敗する場合でも適切に処理できる、拡張最大尤度推定のための改善されたアルゴリズムを開発すること。
• 対数線形モデルの幾何的性質を活用して、拡張指数型分布族の枠組みに結果を統合すること。

提案手法

• 観測分割表における標本ゼロの配置に基づいて、MLEの存在に必要な十分条件を導出する。
• 十分統計量の構造とパrameter空間の凸幾何学的性質を特徴とする、対数線形モデルの幾何的性質を利用する。
• 古典的意味でのMLEが存在しない場合に対処するために、拡張指数型分布族の理論を適用する。
• 標準MLEが失敗する場合でも、明確な解に収束する反復的アルゴリズムを提案する。
• 標準ソフトウェアパッケージにおける一般的な実装エラーを是正する、堅牢な計算パイプラインにアルゴリズムフレームワークを統合する。
• 自然パラメータと平均値パラメータの双対性を用いて、非正則な状況における推定可能性を分析する。

実験結果

リサーチクエスチョン

• RQ1 条件付きポアソン標本抽出における対数線形モデルで、最尤推定量がどのような条件下で存在するか。
• RQ2 MLEが存在しない場合、自然パラメータおよび平均値パラメータの推定可能性はどのように評価できるか。
• RQ3 観測表における標本ゼロがMLEの存在と推定可能性を決定する上で果たす役割は何か。
• RQ4 既存の対数線形モデル解析のためのアルゴリズムは、MLEが存在しない場合をどのように改善できるか。
• RQ5 対数線形モデルの幾何的性質と指数型分布族の性質は、拡張MLEフレームワークにどのように寄与するか。

主な発見

• MLEの存在は、十分統計量に対する標本ゼロの位置に依存し、明確な幾何的特徴付けが与えられている。
• MLEが存在しない場合でも、本論文は拡張指数型分布族の枠組みを通じて、自然パラメータおよび平均値パラメータの推定可能性を依然として評価できることを示している。
• 提案された拡張MLE推定のためのアルゴリズムは、特に標本ゼロが存在する場合に、標準実装よりもより堅牢かつ正確であることが示されている。
• 本研究は、多くの標準統計ソフトウェアパッケージがMLEの非存在を検出または適切に処理していないことが判明しており、誤った推論を引き起こす可能性がある。
• 対数線形モデル空間の幾何的構造により、拡張MLEの解は非正則な状況においても、依然として明確で解釈可能なままである。
• 双対性と指数型分布族の凸幾何学的性質を活用することで、MLEの存在と推定可能性の統一的取り扱いが成功裏に実現された。