[논문 리뷰] On posterior propriety for the Student-$t$ linear regression model under Jeffreys priors

Catalina A. Vallejos, Mark F. J. Steel|arXiv (Cornell University)|2013. 11. 06.

Statistical Methods and Bayesian Inference참고 문헌 8인용 수 3

한 줄 요약

이 논문은 제프리스 사전을 사용한 스튜던트-t 선형 회귀 모델에 대한 베이지안 추론에서 이전 연구의 심각한 오류를 수정한다. 표준 제프리스-룰 사전이 사후 분포가 부적절해져 베이지안 추론을 무효화한다는 것을 보여주며, 독립성 제프리스 사전은 사후 분포의 적절성을 보장하므로 실용적 사용에 권장된다.

ABSTRACT

Regression models with fat-tailed error terms are an increasingly popular choice to obtain more robust inference to the presence of outlying observations. This article focuses on Bayesian inference for the Student-$t$ linear regression model under objective priors that are based on the Jeffreys rule. Posterior propriety results presented in Fonseca et al. (2008) are revisited and corrected. In particular, it is shown that the standard Jeffreys-rule prior precludes the existence of a proper posterior distribution.

연구 동기 및 목표

• 제프리스 사전 하에서 스튜던트-t 선형 회귀 모델의 사후 적절성 재검토.
• 제프리스-룰 사전 하에서 사후 존재성에 대한 이전 주장의 오류 규명 및 수정.
• 자유도 매개변수 $\nu$ 에 대해 적절한 사후 분포를 유도하는 객관적 사전을 규명.
• 사전이 $\nu$ 에 따라 어떻게 의존하는지에 기반한 사후 적절성의 엄밀한 조건 도출.
• 중심적인 오차를 갖는 강건한 회귀 분석을 위한 유효한 객관적 사전을 실무자들이 사용하도록 안내.

제안 방법

• 모델의 파라미터 $\beta$, $\sigma^2$, $\nu$ 를 갖는 스튜던트-t 선형 회귀 모델의 피셔 정보 행렬 유도.
• 제프리스의 규칙을 사용하여 두 객관적 사전 구성: 표준 제프리스-룰 사전과 독립성 제프리스 사전.
• 피보니치 정리와 주변화 기법을 적용하여 $\beta$ 와 $\sigma^2$ 를 통합하고, 사후 분포의 $\nu$ 에 대한 의존성에 집중.
• 순서 통계와 감마 함수 유형 적분의 경계를 사용하여 사후 적절성에 필요한 조건 유도.
• Fernández와 Steel(1999)의 결과를 적용하여 독립성 제프리스 사전 하에서의 사후 적절성 확인.
• 사후 적절성에 대한 필요 조건 유도: $\nu > \frac{2a - 2}{n - p}$, 여기서 $a$ 는 사전의 $\sigma^2$ 성분에서의 지수.

실험 결과

연구 질문

• RQ1 스튜던트-t 선형 회귀 모델에 대한 표준 제프리스-룰 사전은 적절한 사후 분포를 유도하는가?
• RQ2 이 모델에서 제프리스 사전 하의 사후 적절성에 대한 필요 조건은 무엇인가?
• RQ3 왜 이전 연구들, 특히 Fonseca 등(2008)은 제프리스-룰 사전 하에서 사후 존재성을 잘못 주장했는가?
• RQ4 독립성 제프리스 사전은 이 모델에서 베이지안 추론에 신뢰성 있게 사용될 수 있는가?
• RQ5 제프리스-룰 사전의 부적절성은 작은 표본에서 관찰된 95% 신뢰구간의 낮은 임의의 커버리지와 어떻게 관련이 있는가?

주요 결과

• 스튜던트-t 선형 회귀 모델에 대한 표준 제프리스-룰 사전은 사후 분포가 부적절하여 베이지안 추론을 무효화한다.
• 사후 적절성에 대한 필요 조건은 $\nu > \frac{2a - 2}{n - p}$ 이며, 이 조건은 $a > 1$ 이고 $\nu$ 가 $ (0, \infty) $ 범위에서 허용될 경우 위반된다.
• 제프리스-룰 사전의 경우 $a = 1 + p/2 > 1$ 이므로 사후 분포가 부적절하며, Fonseca 등(2008)의 주장과 모순된다.
• 독립성 제프리스 사전은 $a = 1$ 이므로 필요 조건을 충족하고 적절한 사후 분포를 보장한다.
• 독립성 제프리스 사전 하에서의 사후 적절성은 $n > p$ 일 때 보장되며, 이는 Fernández와 Steel(1999)의 정리 1에 의해 확인된다.
• 제프리스-룰 사전의 부적절성은 이전 연구에서 관찰된 작은 표본에서 $\nu$ 의 95% 신뢰구간의 낮은 임의의 커버리지와 관련이 있을 수 있다.