[論文レビュー] Block Hyper-g Priors in Bayesian Regression

Agniva Som, Christopher M. Hans+1 more|arXiv (Cornell University)|Jun 25, 2014

Bayesian Methods and Mixture Models参考文献 49被引用数 6

ひとこと要約

本稿では、予測子をブロックに分割し、各ブロックに独立したハイパーゲー・プライアを適用する新しいベイズ的プライア、ブロックハイパーゲー・プライアを導入する。これは、従来のスケール・ミクスチャー・ゲー・プライアで見られる、ほぼ最小二乗法（ELS）推定および条件付きリンデリーのパラドックス（CLP）と呼ばれる望ましくない行動を回避するものである。本手法は、ブロック直交設計および漸近的状況下でモデル選択および予測の一貫性を保証する。

ABSTRACT

The development of prior distributions for Bayesian regression has traditionally been driven by the goal of achieving sensible model selection and parameter estimation. The formalization of properties that characterize good performance has led to the development and popularization of thick tailed mixtures of g priors such as the Zellner--Siow and hyper-g priors. The properties of a particular prior are typically illuminated under limits on the likelihood or the prior. In this paper we introduce a new, conditional information asymptotic that is motivated by the common data analysis setting where at least one regression coefficient is much larger than others. We analyze existing mixtures of g priors under this limit and reveal two new behaviors, Essentially Least Squares (ELS) estimation and the Conditional Lindley's Paradox (CLP), and argue that these behaviors are, in general, undesirable. As the driver behind both of these behaviors is the use of a single, latent scale parameter that is common to all coefficients, we propose a block hyper-g prior, defined by first partitioning the covariates into groups and then placing independent hyper-g priors on the corresponding blocks of coefficients. We provide conditions under which ELS and the CLP are avoided by the new class of priors, and provide consistency results under traditional sample size asymptotics.

研究の動機と目的

• 既存のスケール・ミクスチャー・ゲー・プライアが、ある回帰係数が他の係数と比べて著しく大きいような状況下で示す限界を是正すること。
• 従来のゲー・プライア枠組みにおいて見られる2つの問題行動、すなわちほぼ最小二乗法（ELS）推定および条件付きリンデリーのパラドックス（CLP）を特定・形式化すること。
• 予測子の各ブロックに対して独立したスケール・パラメータを有する新しいプライアクラス、すなわちブロックハイパーゲー・プライアを提案すること。
• 条件付き情報の漸近的状況および従来の標本サイズの漸近的状況の両方において、ブロックハイパーゲー・プライアの理論的一致性を確立すること。
• ブロック直交設計下で、計算効率を維持しつつ、モデル選択および予測性能を向上させることを示すこと。

提案手法

• 共変数を互いに素なブロックに分割し、各ブロックの回帰係数に独立したハイパーゲー・プライアを割り当てる。
• 各ブロックの係数には、異なるg_iでスケーリングされた正規プライアが割り当てられ、g_iパラメータにハイパープライアが設けられ、縮小を可能にする。
• 設計行列におけるブロック直交性を活用して解析的取り扱いの容易さを確保し、事後モーメントおよびモデル確率を導出する。
• ある係数が他の係数に対して相対的に大きくなるような条件付き情報の漸近的状況を想定し、極限的挙動を検討する。
• モデル平均化および周辺尤度アプローチの両方において、モデル選択および予測の一貫性に関する結果を導出する。
• 明示的な事後期待値およびモデル包含確率の計算を可能にするブロック直交設計の設定を用いて、理論的性質を検証する。

実験結果

リサーチクエスチョン

• RQ1 ある回帰係数が他の係数と著しく大きい場合、標準的なハイパーゲー・プライアは望ましくない極限的挙動を示すか？
• RQ2 ほぼ最小二乗法（ELS）推定および条件付きリンデリーのパラドックス（CLP）の現象が、既存のゲー・プライアフレームワークにおいてモデル選択および推定をどの程度損なうか？
• RQ3 複数のブロック固有のスケール・パラメータを持つプライア構造が、高リーダーシップ係数の状況下でELSおよびCLPを回避できるか？
• RQ4 どのような条件下で、ブロックハイパーゲー・プライアは大きな係数が存在する状況下でもモデル選択および予測の一貫性を達成するか？
• RQ5 条件付き情報の極限下で、ブロックハイパーゲー・プライアは標準ゲー・プライアと比べて漸近的挙動および性能においてどのように異なるか？

主な発見

• 標準的なハイパーゲー・プライアおよび他のスケール・ミクスチャー・ゲー・プライアは、条件付き情報の漸近的状況下でほぼ最小二乗法（ELS）推定を示す。このとき、事後推定値は最小二乗推定値に収束する。
• これらのプライアはまた、真の係数が他の係数に対して著しく大きい場合に、モデル選択が一貫しなくなる条件付きリンデリーのパラドックス（CLP）を経験する。
• ブロックハイパーゲー・プライアは、各ブロックごとに独立したゲー・プライアを用いることで、ELSおよびCLPを回避する。これにより、単一のグローバルなスケール・パラメータの支配を防ぐ。
• ブロック直交設計下では、ブロックハイパーゲー・プライアはモデル選択の一貫性を達成し、標本サイズが増加するにつれて、事後モデル確率が真のモデルに集中する。
• ベイズモデル平均化（BMA）下でも予測の一貫性が保証され、モデル平均化予測子は極限において真の条件付き平均に収束する。
• 理論的結果は、ブロックハイパーゲー・プライアが単一スケールのゲー・プライアに見られる病理的性質を回避しながら、望ましい縮小および推定特性を維持することを確認している。