[논문 리뷰] On the correspondence between Bayesian log-linear and logistic regression models with unit information priors

Michail Papathomas|arXiv (Cornell University)|2014. 09. 12.

Bayesian Modeling and Causal Inference인용 수 1

한 줄 요약

이 논문은 g-우도 또는 g-우도의 혼합을 사용할 경우 베이지안 로그선형 모형과 로지스틱 회귀 모형 사이의 공식적인 대응 관계를 수립한다. 이는 두 모형의 모수의 사후분포가 渐近적으로 동일하다는 것을 증명하며, 주효과와 상호작용을 평가하기 위해 로그선형 모형의 추론을 로지스틱 회귀 프레임워크로 이전하는 것이 타당하다는 것을 검증한다.

ABSTRACT

Consider a set of categorical variables where at least one of them is binary. The log-linear model that describes the counts in the resulting contingency table implies a specific logistic regression model, with the binary variable as the outcome. Within the Bayesian framework, the $g$-prior and mixtures of $g$-priors are commonly assigned to the parameters of a generalized linear model. We prove that assigning a $g$-prior (or a mixture of $g$-priors) to the parameters of a certain log-linear model designates a $g$-prior (or a mixture of $g$-priors) on the parameters of the corresponding logistic regression. By deriving an asymptotic result, and with numerical illustrations, we demonstrate that when a $g$-prior is adopted, this correspondence extends to the posterior distribution of the model parameters. Thus, it is valid to translate inferences from fitting a log-linear model to inferences within the logistic regression framework, with regard to the presence of main effects and interaction terms.

연구 동기 및 목표

• g-우도 가정 하에 베이지안 로그선형 모형과 로지스틱 회귀 모형 간 이론적 대응 관계를 조사하는 것.
• 로그선형 모형에 g-우도를 적용할 경우, 이에 대응하는 로지스틱 회귀 모형의 g-우도 분포가 유도되는지 여부를 규명하는 것.
• 특히 주효과와 상호작용 항에 관해 로그선형 모형의 추론을 로지스틱 회귀 모형으로 이전하는 것이 타당한지 평가하는 것.
• 두 모델링 프레임워크에서 g-우도 사양 하에 사후분포의 동치성에 대한 渐近적 정당성을 제공하는 것.

제안 방법

• 이 논문은 이진 결과 변수를 가진 상황에서 로그선형 모형과 로지스틱 회귀 모형의 설계 행렬 간의 수학적 관계를 유도한다.
• 로그선형 모형의 모수에 g-우도 및 g-우도의 혼합을 적용하고, 이로 인해 로지스틱 회귀 모형의 모수에 대응하는 g-우도가 유도됨을 보여준다.
• g-우도 가정 하에 두 모형의 모수 사후분포가 수렴함을 보이기 위해 渐近적 분석을 사용한다.
• 이론적 결과를 지지하고 유한 표본에서의 대응 관계를 검증하기 위해 수치적 예시를 제공한다.
• 표준 지수족 및 공액 사전 이론을 사용하여 베이지안 프레임워크 내에서의 대응 관계를 수립한다.

실험 결과

연구 질문

• RQ1 로그선형 모형의 모수에 g-우도를 할당하면, 이에 대응하는 로지스틱 회귀 모형의 모수에 g-우도가 유도되는가?
• RQ2 g-우도 가정 하에 로그선형 모형과 로지스틱 회귀 모형의 사후분포가 어느 정도 일치하는가?
• RQ3 로그선형 모형에서의 주효과 및 상호작용 항에 대한 추론을 로지스틱 회귀 모형으로 신뢰성 있게 이전할 수 있는가?
• RQ4 사후분포의 渐近적 행동은 이러한 대응 관계의 타당성을 어떻게 뒷받침하는가?

주요 결과

• 로그선형 모형의 모수에 g-우도를 할당하면, 이에 대응하는 로지스틱 회귀 모형의 모수에 g-우도가 유도된다.
• g-우도 사양 하에 로그선형 모형과 로지스틱 회귀 모형의 모수 사후분포는 渐近적으로 동일하다.
• 주효과 및 상호작용 항 모두에 대해 대응 관계가 성립하여, 두 프레임워크 간의 추론 이전을 지원한다.
• 수치적 예시는 이론적 결과를 확인하며, 표본 수가 유한한 경우 사후분포 간의 높은 일치를 보여준다.