[論文レビュー] On posterior propriety for the Student-$t$ linear regression model under Jeffreys priors

Catalina A. Vallejos, Mark F. J. Steel|arXiv (Cornell University)|Nov 6, 2013

Statistical Methods and Bayesian Inference参考文献 8被引用数 3

ひとこと要約

本稿は、ジェフリー ス・プライアに従う学生の $ t $ 線形回帰におけるベイズ推論に関する先行研究における重大な誤りを是正する。標準的なジェフリー ス・ルール・プライアは不適切な事後分布をもたらし、ベイズ推論を無効にするが、独立性に基づくジェフリー ス・プライアは事後分布の適切性を保証するため、実用的使用に推奨される。

ABSTRACT

Regression models with fat-tailed error terms are an increasingly popular choice to obtain more robust inference to the presence of outlying observations. This article focuses on Bayesian inference for the Student-$t$ linear regression model under objective priors that are based on the Jeffreys rule. Posterior propriety results presented in Fonseca et al. (2008) are revisited and corrected. In particular, it is shown that the standard Jeffreys-rule prior precludes the existence of a proper posterior distribution.

研究の動機と目的

• ジェフリー ス・プライアに従うベイズ的学生の $ t $ 線形回帰における事後分布の適切性を再検討すること。
• ジェフリー ス・ルール・プライアにおける事後分布の存在に関する先行主張の誤りを特定・是正すること。
• 自由度パラメータ $ \nu $ に対して適切な事後分布をもたらす客観的プライアを特定すること。
• プライアが $ \nu $ に依存する仕方に基づいた、事後分布の適切性の厳密な条件を導出すること。
• 頑健な回帰（重い尾を持つ誤差）に適した有効な客観的プライアへの実務家のガイドラインを提供すること。

提案手法

• パrameters $ \beta $, $ \sigma^2 $, および $ \nu $ を持つ学生の $ t $ 線形回帰モデルのフィッシャー情報行列を導出する。
• ジェフリー スの規則を用いて2つの客観的プライアを構築する：標準的なジェフリー ス・ルール・プライアと独立性に基づくジェフリー ス・プライア。
• フィュビニの定理と周辺化技術を適用して $ \beta $ と $ \sigma^2 $ を統合し、事後分布が $ \nu $ に依存する部分に注目する。
• 順序統計とガンマ関数型積分の上限を用いて、事後分布の適切性に必要な条件を導出する。
• フェルナンデスとスティール（1999）の結果を適用して、独立性に基づくジェフリー ス・プライアにおける事後分布の適切性を確認する。
• 事後分布の適切性に必要な条件を導出：$ \nu > \frac{2a - 2}{n - p} $ であり、ここで $ a $ はプライアの $ \sigma^2 $ 成分における指数である。

実験結果

リサーチクエスチョン

• RQ1 学生の $ t $ 線形回帰モデルにおける標準的ジェフリー ス・ルール・プライアは適切な事後分布をもたらすか？
• RQ2 このモデルにおけるジェフリー ス・プライアに従う事後分布の適切性に必要な条件は何か？
• RQ3 なぜフォンセカら（2008年）の研究を含む、先行研究はジェフリー ス・ルール・プライアにおいて事後分布の存在を誤って主張したのか？
• RQ4 独立性に基づくジェフリー ス・プライアは、このモデルにおけるベイズ推論に信頼性をもって使用できるか？
• RQ5 ジェフリー ス・ルール・プライアの不適切性は、小標本における $ \nu $ の95％信用区間の悪い頻度的カバレッジとどのように関係しているか？

主な発見

• 学生の $ t $ 線形回帰モデルにおける標準的ジェフリー ス・ルール・プライアは不適切な事後分布をもたらし、ベイズ推論を無効にする。
• 事後分布の適切性に必要な条件は $ \nu > \frac{2a - 2}{n - p} $ であり、$ a > 1 $ かつ $ \nu \in (0, \infty) $ の範囲で許容される場合にこの条件が満たされない。
• ジェフリー ス・ルール・プライアでは $ a = 1 + p/2 > 1 $ であるため、事後分布は不適切であり、フォンセカら（2008年）の主張とは矛盾する。
• 独立性に基づくジェフリー ス・プライアでは $ a = 1 $ であるため、必要な条件を満たし、適切な事後分布を保証する。
• 独立性に基づくジェフリー ス・プライアでは、$ n > p $ の場合に事後分布の適切性が保証され、フェルナンデスとスティール（1999）の定理1で確認されている。
• ジェフリー ス・ルール・プライアの不適切性は、先行研究で観察された小標本における $ \nu $ の95％信用区間の頻度的カバレッジの悪さを説明できる可能性がある。