[論文レビュー] A Bayes factor with reasonable model selection consistency for ANOVA model

Yuzo Maruyama|arXiv (Cornell University)|Jun 23, 2009

Statistical Methods in Clinical Trials参考文献 12被引用数 15

ひとこと要約

本稿では、1-way ANOVAにおけるg-priorに基づくベイズファクターを提案し、群の数 $p$ および平均反復数 $\bar{r}$ が無限大に発散する2つの漸近的状況において、モデル選択の一貫性を達成する。BICとは異なり、$\bar{r}$ がゆっくりと増加する場合でも、$p \to \infty$ であっても一貫性を保つ。これは、特別な事前分布の選択のもとで、周辺密度を正確に解析的に計算することに依存する。

ABSTRACT

For the ANOVA model, we propose a new g-prior based Bayes factor without integral representation, with reasonable model selection consistency for any asymptotic situations (either number of levels of the factor and/or number of replication in each level goes to infinity). Exact analytic calculation of the marginal density under a special choice of the priors enables such a Bayes factor.

研究の動機と目的

• 群の数 $p$ が増加し、平均反復数 $\bar{r}$ がゆっくりと増加する高次元ANOVA設定において、BICの不一致を解消すること。
• $p \to \infty$ および $\bar{r} \to \infty$ の両方の下でモデル選択の一貫性を有するベイズファクターを開発すること。$\bar{r}$ が $p$ よりも遅く増加する場合を含む。
• 特定のg-_priorのもとで周辺尤度の正確な解析的表現を導出することにより、数値積分を避けること。
• 真の効果サイズが小さく、$p$ が大きい場合でも、提案されたベイズファクターが一貫性を保つことを示すこと。

提案手法

• 1-way ANOVAモデルを、中心化された設計行列 $\tilde{\bm{X}}_A$ を用いた線形回帰モデルに再表現する。
• 特定の $g$ の選択により、回帰係数にg-_priorを適用し、周辺尤度の正確な解析的計算を可能にする。
• $\mathcal{M}_1$ と $\mathcal{M}_{A+1}$ の下での周辺密度比としてベイズファクターを導出し、閉形式で表された式 $\mathrm{BF}^{F}_{(A+1):1} = \frac{\Gamma(p/2)\Gamma((n-p)/2)}{\Gamma(1/2)\Gamma((n-1)/2)} \left(1 + \frac{W_H}{W_E}\right)^{(n-p-1)/2}$ を得る。
• スターリングの近似と漸近的解析を用いて、さまざまな大標本状況下でのベイズファクターの挙動を評価する。
• 2-way ANOVAへの拡張として、類似する平方和を定義し、$p$, $q$, および $\bar{r}$ の共同漸近的条件下での一貫性を分析する。
• 漸近的極限における信号強度を定量化するため、効果サイズの測度 $\tilde{c}_A$, $\tilde{c}_B$, および $\tilde{c}_{AB\setminus(A+B)}$ を定義する。

実験結果

リサーチクエスチョン

• RQ1 群の数 $p$ が $\infty$ に発散し、$\bar{r}$ がゆっくりと増加する場合、提案されたベイズファクターがモデル選択の一貫性を保つか。
• RQ2 $p$ が増加するが $\bar{r}$ が有界な場合、$\mathcal{M}_1$ の帰無仮説下でベイズファクターはどのように振る舞うか。
• RQ3 真の効果サイズが小さくても正である場合、ベイズファクターが代替モデル $\mathcal{M}_{A+1}$ を一貫して選択できるか。
• RQ4 このベイズファクターは、高次元ANOVA設定においてBIC や GBIC と比較して、どのように性能を発揮するか。
• RQ5 2-way ANOVAにおいて、$\bar{r}$ と $p$ がどのような条件下でベイズファクターが一貫性を保つのか。

主な発見

• 提案されたベイズファクター $\mathrm{BF}^{F}_{(A+1):1}$ は、$p$ と $\bar{r}$ がともに無限大に発散するとき、$\mathcal{M}_{A+1}$ において一貫性を示す。$\bar{r}$ が $p$ の任意のべき乗よりも遅く増加する場合でも同様である。
• ケースI（$p \to \infty$, $\bar{r}$ が有界）では、真の効果サイズ $c_A$ が小さい場合、特に $c_A < h(\bar{r}) = \bar{r}^{1/(\bar{r}-1)} - 1$ のとき、ベイズファクターは不一致となる。$\bar{r} \to \infty$ のとき $h(\bar{r})$ は0に近づく。
• 真の効果サイズが $\tilde{c}_A > h(\bar{r})$ である場合、$\tilde{c}_A$ は相対的信号強度を測る。このとき、$\mathcal{M}_{A+1}$ においてベイズファクターは一貫性を示す。
• それに対して、BIC は $p$ が $e(1+\tilde{c}_A)^{\bar{r}} / \bar{r}$ よりも速く増加する場合、$\bar{r} \to \infty$ であっても $\mathcal{M}_{A+1}$ において不一致となる。これは高次元設定における根本的な限界を示している。
• 2-way ANOVAでは、ベイズファクター $\mathrm{BF}^{F}_{(A+1)(B+1):1}$ が $\frac{(1+\tilde{c}_{AB\setminus(A+B)})^{\bar{r}}}{\bar{r}} > 1 + \tilde{c}_A + \tilde{c}_B + \tilde{c}_{AB\setminus(A+B)}$ を満たす場合に一貫性を示す。
• 特別なg-_priorのもとで周辺尤度の正確な解析的表現が得られることにより、ラプラス近似や数値積分に依存せずに一貫性のあるモデル選択が可能になる。