[논문 리뷰] Bayesian model assessment: Use of conditional vs marginal likelihoods

Edgar C. Merkle, Daniel C. Furr외 1명|arXiv (Cornell University)|2018. 02. 13.

Statistical Methods and Bayesian Inference참고 문헌 8인용 수 10

한 줄 요약

이 논문은 잠재 변수를 가진 모델에서 베이지안 모델 평가 시 조건부 및 주변 우도 사이의 핵심적인 차이를 명확히 하며, 조건부 DIC/WAIC가 한 단위를 제외한 교차검증(LOuO)에 대응하고, 주변 DIC/WAIC가 한 군집을 제외한 교차검증(LOcO)에 대응함을 보여준다. 주요 기여는 예측 대상이 개인 단위인지 고위 계층 군집인지에 따라 적절한 기준을 선택할 수 있는 원칙적인 프레임워크를 제공하는 것이다.

ABSTRACT

Typical Bayesian methods for models with latent variables (or random effects) involve directly sampling the latent variables along with the model parameters. In high-level software code for model definitions (using, e.g., BUGS, JAGS, Stan), the likelihood is therefore specified as conditional on the latent variables. This can lead researchers to perform model comparisons via conditional likelihoods, where the latent variables are considered model parameters. In other settings, typical model comparisons involve marginal likelihoods where the latent variables are integrated out. This distinction is often overlooked despite the fact that it can have a large impact on the comparisons of interest. In this paper, we clarify and illustrate these issues, focusing on the comparison of conditional and marginal Deviance Information Criteria (DICs) and Watanabe-Akaike Information Criteria (WAICs) in psychometric modeling. The conditional/marginal distinction corresponds to whether the model should be predictive for the that are in the data or for new (where clusters typically correspond to higher-level units like people or schools). Correspondingly, we show that marginal WAIC corresponds to leave-one-cluster out (LOcO) cross-validation, whereas conditional WAIC corresponds to leave-one-unit (LOuO). These results lead to recommendations on the general application of these criteria to models with latent variables.

연구 동기 및 목표

• 잠재 변수를 가진 모델에서 베이지안 모델 비교 시 조건부 및 주변 우도 사이의 널리 퍼져 있으나 자주 간과되는 차이를 다루는 것.
• DIC 및 WAIC와 같은 모델 평가 기준에서 조건부 우도와 주변 우도를 사용할 경우의 함의를 명확히 하는 것.
• 심리측정 및 계층 모델에서 모델 비교 기준과 교차검증 방식(LOuO 대비 LOcO) 사이의 원칙적인 연결 고리를 설정하는 것.
• 연구자가 개인 단위나 군집(예: 사람, 학교)을 예측 대상으로 삼을지에 따라 적절한 기준을 선택할 수 있도록 안내하는 것.

제안 방법

• 잠재 변수를 가진 모델에서 조건부 및 주변 Deviance Information Criterion(DIC)와 Watanabe-Akaike Information Criterion(WAIC)를 비교한다.
• 잠재 변수를 조건부로 간주하여 파ameter로 취급하는 것과, 이를 통합하여 주변화하는 것 사이의 구분을 정식화한다.
• 저자들은 주변 WAIC와 한 군집을 제외한 교차검증(LOcO) 사이의 이론적 동치성, 그리고 조건부 WAIC와 한 단위를 제외한 교차검증(LOuO) 사이의 이론적 동치성을 도출한다.
• 심리측정 모델, 특히 난수 효과를 가진 계층 모델을 사용하여 접근 방식을 실증적으로 설명한다.
• 모델 비교의 근본이 되는 베이지안 추론 원칙에 기반한 프레임워크를 제공하며, 모델 비교에서 예측 분포의 역할을 강조한다.
• 시뮬레이션 및 실제 데이터 사례를 통해 조건부 기준과 주변 기준을 선택할 경우의 실용적 영향을 설명한다.

실험 결과

연구 질문

• RQ1 베이지안 모델 평가에서 조건부 우도와 주변 우도는 잠재 변수를 어떻게 다루는가?
• RQ2 계층 모델에서 조건부 WAIC와 LOuO 교차검증 사이의 관계는 무엇인가?
• RQ3 잠재 변수를 가진 모델에서 주변 WAIC와 LOcO 교차검증 사이의 관계는 무엇인가?
• RQ4 예측 대상이 개인 단위인지 군집인지에 따라 조건부 또는 주변 기준 중 어느 것이 더 적합한가?
• RQ5 심리측정 적용에서 조건부 우도와 주변 우도를 선택할 경우 모델 선택 결과에 어떤 영향을 미치는가?

주요 결과

• 조건부 WAIC는 한 단위를 제외한 교차검증(LOuO)에 대응하며, 이는 군집를 고정된 것으로 간주하고 개별 관측치에 대해 예측을 수행할 때 해당된다.
• 주변 WAIC는 한 군집을 제외한 교차검증(LOcO)에 대응하며, 이는 전체 단위 군집에 대해 예측을 수행할 때 해당된다.
• 모델 비교에 조건부 우도를 사용할 경우, 특히 군집 수준의 예측을 목표로 할 경우 개인 단위에 과적합될 수 있다.
• 새로운 군집이나 고위 계층 단위를 예측하고자 할 경우 주변 우도가 더 적절하며, 이는 잠재 변수의 불확실성을 반영하기 때문이다.
• 조건부 기준과 주변 기준 사이의 구분은 특히 난수 효과를 가진 계층 모델에서 모델 비교 결과에 상당한 영향을 미친다.
• 연구 분석의 예측 대상에 따라 조건부 또는 주변 기준을 선택할 수 있는 명확한 논거를 제공한다.