[논문 리뷰] On the "Poisson Trick" and its Extensions for Fitting Multinomial Regression Models

Jarod Y. L. Lee, Peter J. Green외 1명|arXiv (Cornell University)|2017. 07. 26.

Statistical Methods and Bayesian Inference참고 문헌 15인용 수 4

한 줄 요약

이 논문은 확장된 감마-포isson 모델을 사용하여 다항혼합모형을 피팅하기 위한 폐쇄형 우도 방법을 제안하며, ECM 알고리즘을 통해 정확한 추론을 가능하게 한다. 기존의 '포isson 트릭' 접근 방식에서 발생하는 계산 비효율성을 피하기 위해 표준 GLM 기능을 활용함으로써, 개인 수준의 공변량이 있는 상관관계가 있는 범주형 반응 변수에 대해 안정적이고 확장 가능한 추정을 제공한다.

ABSTRACT

This article is concerned with the fitting of multinomial regression models using the so-called "Poisson Trick". The work is motivated by Chen & Kuo (2001) and Malchow-Møller & Svarer (2003) which have been criticized for being computationally inefficient and sometimes producing nonsense results. We first discuss the case of independent data and offer a parsimonious fitting strategy when all covariates are categorical. We then propose a new approach for modelling correlated responses based on an extension of the Gamma-Poisson model, where the likelihood can be expressed in closed-form. The parameters are estimated via an Expectation/Conditional Maximization (ECM) algorithm, which can be implemented using functions for fitting generalized linear models readily available in standard statistical software packages. Compared to existing methods, our approach avoids the need to approximate the intractable integrals and thus the inference is exact with respect to the approximating Gamma-Poisson model. The proposed method is illustrated via a reanalysis of the yogurt data discussed by Chen & Kuo (2001).

연구 동기 및 목표

• 기존의 '포isson 트릭' 방법에서 발생하는 계산 비효율성과 불안정성 문제를 해결하기 위해.
• 이면적 적분이 존재하지 않는 다항응답 변수에 대한 폐쇄형 우도 접근 방식을 개발하기 위해.
• 표준 GLM 소프트웨어를 활용하여 감마-포isson 근사 하에 정확한 추론을 가능하게 하기 위해.
• 개인 수준의 공변량이 있는 상관관계가 있는 범주형 자료에 대해 확장 가능하고 안정적인 추정 프레임워크를 제공하기 위해.
• 더 나은 계산 성능과 신뢰성을 확보하기 위해 요리 브랜드 선택 데이터 세트를 재분석하기 위해.

제안 방법

• 감마-포isson 모델의 확장을 통해 다항우도를 폐쇄형으로 근사화하는 방법을 제안한다.
• 잠재 변수의 조건부 기대값을 계산하는 E단계를 수행하는 Expectation/Conditional Maximization (ECM) 알고리즘을 사용하여 모수를 추정한다.
• 관측된 빈도와 정밀도 매개변수로부터 유도된 감마분포를 가진 잠재 변수를 사용하여 E단계를 구현한다.
• 재귀적 최적화를 통해 Q함수를 최대화하기 위해 회귀 계수의 경우 표준 일반화선형모형 기능을 활용한다.
• 일시적 매개변수 문제를 로그 척도의 랜덤 효과를 통해 처리하며, 반복적인 ECM 업데이트를 통해 추정한다.
• 특히 복잡한 공변량 구조를 가진 고차원 모수 추정에 대해 안정적인 추정을 가능하게 하기 위해 기존의 GLM 소프트웨어를 활용한다.

실험 결과

연구 질문

• RQ1 감마-포isson 근사 하에 다항혼합모형에 대해 폐쇄형 우도를 유도할 수 있는가?
• RQ2 제안된 ECM 기반 추정 방법은 이전의 '포isson 트릭' 접근 방식에서 발생하는 계산 비효율성을 피할 수 있는가?
• RQ3 고차원 적분의 수치적 근사를 피하면서도 신뢰할 수 있고 정확한 추론을 수행할 수 있는가?
• RQ4 실제의 상관관계가 있는 범주형 자료, 예를 들어 브랜드 선택 행동에 대해 이 방법은 어떻게 성능을 보이는가?
• RQ5 표준 GLM 기능을 CM단계에서 효과적으로 재사용할 수 있는가?

주요 결과

• 제안된 방법은 감마-포isson 근사 하에 정확한 추론을 달성하여 수치적 통합이나 시뮬레이션의 필요성을 피한다.
• ECM 알고리즘은 기존의 GLM 기능을 활용함으로써 안정적이고 확장 가능한 추정을 가능하게 하며, 이는 이전 방법 대비 계산 시간을 크게 단축시킨다.
• 이전의 '포isson 트릭' 구현에서 발생한 '비논리적인 결과'와 불안정성 문제를 피할 수 있다.
• 요리 데이터 재분석 결과, 빠른 수렴과 향상된 수치적 안정성을 확보한 신뢰할 수 있는 추정치를 제공하였다.
• 중간에서 큰 규모의 데이터 세트에 대해서도 계산 가능하며, 이전의 구현에서 월 단위로 걸리던 실행 시간이 더 이상 문제가 되지 않는다.
• 폐쇄형 우도와 효율적인 ECM 알고리즘 덕분에, 이 방법은 복잡한 공변량 구조를 가진 대규모 응용에 적합하다.