[論文レビュー] On the "Poisson Trick" and its Extensions for Fitting Multinomial Regression Models

Jarod Y. L. Lee, Peter J. Green+1 more|arXiv (Cornell University)|Jul 26, 2017

Statistical Methods and Bayesian Inference参考文献 15被引用数 4

ひとこと要約

本稿では、拡張されたガンマ・ポアソンモデルを用いて、マルチノミアル混合モデルに適合させる閉形式尤度法を提案する。ECMアルゴリズムを用いることで正確な推論が可能となり、従来の「ポアソントリック」手法における計算上の非効率性を回避する。標準的なGLM関数を活用することで、個体水準の共変量を伴う相関のあるカテゴリカル応答変数に対する安定的かつスケーラブルな推定が可能となる。

ABSTRACT

This article is concerned with the fitting of multinomial regression models using the so-called "Poisson Trick". The work is motivated by Chen & Kuo (2001) and Malchow-Møller & Svarer (2003) which have been criticized for being computationally inefficient and sometimes producing nonsense results. We first discuss the case of independent data and offer a parsimonious fitting strategy when all covariates are categorical. We then propose a new approach for modelling correlated responses based on an extension of the Gamma-Poisson model, where the likelihood can be expressed in closed-form. The parameters are estimated via an Expectation/Conditional Maximization (ECM) algorithm, which can be implemented using functions for fitting generalized linear models readily available in standard statistical software packages. Compared to existing methods, our approach avoids the need to approximate the intractable integrals and thus the inference is exact with respect to the approximating Gamma-Poisson model. The proposed method is illustrated via a reanalysis of the yogurt data discussed by Chen & Kuo (2001).

研究の動機と目的

• マルチノミアル混合モデルに対する従来の「ポアソントリック」手法における計算上の非効率性と不安定性を解消すること。
• 積分が解けない場合に発生する問題を回避するため、ランダム効果を含むマルチノミアル応答変数の閉形式尤度アプローチを構築すること。
• 標準的なGLMソフトウェアを用いて、ガンマ・ポアソン近似に基づく正確な推論を可能にすること。
• 個体水準の共変量を伴う相関のあるカテゴリカルデータに対するスケーラブルで安定した推定フレームワークを提供すること。
• より高い計算性能と信頼性を実現するため、ヨーグルトブランド選好データセットを再分析すること。

提案手法

• マルチノミアル尤度を閉形式で近似するため、ガンマ・ポアソンモデルの拡張を提案する。
• パラメータ推定に期待値/条件付き最大化（ECM）アルゴリズムを用い、Eステップでは潜在変数の条件付き期待値を計算する。
• Eステップでは、観測度数と精度パラメータから導かれるガンマ分布に従う潜在変数を実装する。
• CMステップでは、回帰係数のQ関数の最大化を、標準的な一般化線形モデル関数を用いて行う。
• 一時的パラメータ（incidental parameters）は、対数スケールのランダム効果として扱い、反復的なECM更新により推定する。
• 特に複雑な共変量構造を有する場合でも、安定した高次元パラメータ推定が可能な既存のGLMソフトウェアを活用する。

実験結果

リサーチクエスチョン

• RQ1 ガンマ・ポアソン近似のもとで、マルチノミアル混合モデルに対する閉形式尤度を導出可能か？
• RQ2 提案されたECMベースの推定手法は、従来の「ポアソントリック」手法の計算上の非効率性を回避できるか？
• RQ3 高次元積分の数値近似なしに、信頼性があり正確な推論を実現できるか？
• RQ4 実世界の相関のあるカテゴリカルデータ（例：ブランド選好行動）に対して、この手法はどのように性能を発揮するか？
• RQ5 標準的なGLM関数をCMステップで効果的に再利用できるか、そのスケーラビリティはいかがなものか？

主な発見

• 提案手法はガンマ・ポアソン近似のもとで正確な推論を達成し、数値積分やシミュレーションの必要を回避する。
• ECMアルゴリズムにより、既存のGLM関数を活用した安定的かつスケーラブルな推定が可能となり、従来手法と比較して計算時間を顕著に短縮する。
• 積分が解けないため生じる「意味のない結果」と不安定性を、従来の「ポアソントリック」実装で報告されていた問題を回避する。
• ヨーグルトデータの再分析において、より速い収束性と向上した数値的安定性を示す信頼性の高い推定値が得られた。
• 中程度から大規模なデータセットに対しても、実行時間が数か月にまで及ぶことがないなど、計算的に実行可能である。
• 閉形式尤度と効率的なECMアルゴリズムにより、複雑な共変量構造を有する大規模応用に適した手法である。