[論文レビュー] Why optional stopping is a problem for Bayesians

Rianne de Heide, Peter Grünwald|arXiv (Cornell University)|Aug 28, 2017

Bayesian Modeling and Causal Inference被引用数 15

ひとこと要約

この論文は、ベイズ推論におけるオプショナルストップピングが問題を引き起こさないという主張に反論し、一般的にベイズファクター仮説検定で用いられるデフォルト・プライオリティおよび実用的プライオリティが、オプショナルストップピング下で歪んだ事後確率と高められた誤り率を引き起こす可能性があることを示している。著者らは、特にタイプIIおよびIIIのデフォルト・プライオリティが脆弱であることを明らかにし、逐次的分析におけるベイズ手法の頑健性を損なっている。

ABSTRACT

Recently, optional stopping has been a subject of debate in the Bayesian psychology community. Rouder (2014) argues that optional stopping is no problem for Bayesians, and even recommends the use of optional stopping in practice, as do Wagenmakers et al. (2012). This article addresses the question whether optional stopping is problematic for Bayesian methods, and specifies under which circumstances and in which sense it is and is not. By slightly varying and extending Rouder's (2014) experiment, we illustrate that, as soon as the parameters of interest are equipped with default or pragmatic priors - which means, in most practical applications of Bayes Factor hypothesis testing - resilience to optional stopping can break down. We distinguish between four types of default priors, each having their own specific issues with optional stopping, ranging from no-problem-at-all (Type 0 priors) to quite severe (Type II and III priors).

研究の動機と目的

• デフォルト・プライオリティまたは実用的プライオリティを用いた場合、オプショナルストップピングがベイズ推論の妥当性を損なうかどうかを調査すること。
• オプショナルストップピングに対して脆弱である特定のタイプのデフォルト・プライオリティを同定し、その理由を説明すること。
• オプショナルストップピングがベイズ仮説検定において無害であるか、問題を引き起こすかの条件を明確にすること。
• ルーダー（2014）の主張を拡張し、共役プライオリティからわずかなずれがある場合でさえ、オプショナルストップピングに対する耐性が崩れる可能性を示すこと。

提案手法

• 著者らは、ルーダー（2014）のシミュレーションフレームワークを拡張し、プライオリティ分布の変異を導入してオプショナルストップピングに対する感受性を評価した。
• デフォルト・プライオリティを4つのタイプ（タイプ0～III）に分類し、不変性および共役性に関する異なる特性を有するように定義した。
• 各プライオリティタイプについて、オプショナルストップピングを伴う逐次的データ収集のシミュレーションを行い、得られた事後分布およびベイズファクターを評価した。
• 停止ルールが異なるプライオリティ仮定下での第一種誤り率および事後分布のキャリブレーションへの影響を分析した。
• 固定Nデザインと逐次的デザインの両方におけるベイズファクターの挙動を比較するために、シミュレーションベースの推論を用いた。
• オプショナルストップピングに対して不変であるプライオリティ（タイプ0）とそうでないプライオリティ（タイプI～III）を区別し、崩壊の構造的要因を同定した。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下でオプショナルストップピングがデフォルト・プライオリティを用いたベイズ推論の妥当性を損なうのか。
• RQ2 なぜ一部のデフォルト・プライオリティはオプショナルストップピングに対して頑健であるのに対し、他のプライオリティは誤り率を高めるのか。
• RQ3 プライオリティの構造的特性（例えば、共役性、非情報的性質）が、逐次的停止ルールに対する耐性にどのように影響するのか。
• RQ4 実用的または弱情報的プライオリティが、オプショナルストップピング下でベイズファクター検定の頑健性をどれほど損なうのか。

主な発見

• タイプIIおよびIIIのデフォルト・プライオリティを用いる場合、中程度のサンプルサイズでもオプショナルストップピングによって事後確率およびベイズファクターが著しく歪む可能性がある。
• オプショナルストップピングに対して不変で共役であるタイプ0プライオリティは頑健であるが、実務では非常にまれである。
• 非共役であるか、サンプリング計画に依存する（例：標準化効果量に基づく）デフォルト・プライオリティは、オプショナルストップピング下で不変性を失う。
• 逐次的検定において弱情報的またはデフォルト・プライオリティを用いることは、事後分布が停止ルールに敏感になるため、誤った証拠をもたらす可能性がある。
• 共役プライオリティからのわずかなずれでさえ、オプショナルストップピング下での耐性に必要な不変性を破る可能性がある。
• 本論文は、ベイジアンがオプショナルストップピングに「問題がない」と主張する根拠は、一般のデフォルト・プライオリティではなく、極めて制限的なプライオリティ仮定にのみ成立することを結論づけている。