[論文レビュー] Data aggregation can lead to biased inferences in Bayesian linear mixed models

Daniel J. Schad, Bruno Nicenboim+1 more|Data Archiving and Networked Services (DANS)|Jan 1, 2022

Psychometric Methodologies and Testing被引用数 5

ひとこと要約

本研究は、球面性仮定が満たされない、またはアイテムレベルの分散が無視される状況において、ベイジアン線形混合モデルにおけるデータ集約が、バイアスのあるベイズ因子をもたらすことを示している。シミュレーションベースのキャリブレーションを用いて、著者らは集約された分析が過度に許容的または過剰に厳密な証拠を生じることを示し、完全な分散構造を有する非集約モデルが、バイアスのない推論をもたらすことを明らかにした。

ABSTRACT

Bayesian linear mixed-effects models are increasingly being used in the cognitive sciences to perform null hypothesis tests, where a null hypothesis that an effect is zero is compared with an alternative hypothesis that the effect exists and is different from zero. While software tools for Bayes factor null hypothesis tests are easily accessible, how to specify the data and the model correctly is often not clear. In Bayesian approaches, many authors recommend data aggregation at the by-subject level and running Bayes factors on aggregated data. Here, we use simulation-based calibration for model inference to demonstrate that null hypothesis tests can yield biased Bayes factors, when computed from aggregated data. Specifically, when random slope variances differ (i.e., violated sphericity assumption), Bayes factors are too conservative for contrasts where the variance is small and they are too liberal for contrasts where the variance is large. Moreover, Bayes factors for by-subject aggregated data are biased (too liberal) when random item variance is present but ignored in the analysis. We also perform corresponding frequentist analyses (type I and II error probabilities) to illustrate that the same problems exist and are well known from frequentist tools. These problems can be circumvented by running Bayesian linear mixed-effects models on non-aggregated data such as on individual trials and by explicitly modeling the full random effects structure. Reproducible code is available from https://osf.io/mjf47/.

研究の動機と目的

• ベイジアン線形混合モデルにおけるデータ集約が、バイアスのあるベイズ因子推論をもたらすかどうかを調査すること。
• 球面性仮定の違反が、集約データにおけるベイズ因子の信頼性に与える影響を検討すること。
• 被験者別に集約された分析において、モデル化されていないアイテムレベルの分散が、ベイズ因子の正確性に与える影響を評価すること。
• 真の効果を検出する能力において、集約されたモデルと非集約されたモデルの性能を比較すること。
• ベイジアン反復測定設計におけるランダム効果構造の指定に関するベストプラクティスを提供すること。

提案手法

• 後方予測p値およびベイズ因子の信頼性を評価するために、シミュレーションベースのキャリブレーション（SBC）を実施した。
• 球面性の違反をテストするために、さまざまなランダムスロープ分散およびアイテムレベルの分散を有する複数の実験設計をシミュレートした。
• brmsおよびBayesFactorパッケージを用いて、集約済みおよび非集約済みの両方のデータに対して、ベイジアン線形混合モデル（LMM）および分散分析を実行した。
• 階層モデルにおけるモデル比較のため、ベイズ因子を計算するためにbridgesamplingを用いた。
• 条件ごとに期待値と観察値の後方予測p値を比較することで、ベイズ因子のバイアスを評価した。
• 完全なモデルと削減されたモデルを含む、さまざまなランダム効果構造におけるモデルのパフォーマンスを評価した。

実験結果

リサーチクエスチョン

• RQ1 被験者別レベルにデータを集約することは、ベイジアン線形混合モデルにおけるベイズ因子推定にバイアスをもたらすか？
• RQ2 球面性仮定の違反が、集約データ分析におけるベイズ因子の正確性に与える影響は何か？
• RQ3 データを集約した際、モデル化されていないアイテムレベルの分散が、ベイズ因子推論に与える影響は何か？
• RQ4 完全なランダム効果構造（被験者およびアイテムの両方のランダムスロープを含む）を有する非集約モデルは、ベイズ因子推定のバイアスを解消できるか？
• RQ5 集約データを使用しても、どのような条件下でベイズ因子がバイアスのないままであるか？

主な発見

• 球面性が満たされない場合、大きなランダムスロープ分散を有する対比ではベイズ因子が過度に許容的になり、小さな分散を有する対比では過剰に厳密になる。
• アイテムレベルの分散を無視したままデータを集約すると、効果の証拠を過大評価するバイアスのあるベイズ因子が生じる。
• 完全なランダム効果構造（被験者およびアイテムの両方のランダムスロープを含む）を有する非集約モデルは、ベイズ因子推定におけるバイアスを顕著に低減または解消する。
• 球面性が満たされない状況でも、非集約データにおいてBayesFactorパッケージの分析では一部のバイアスが残存しており、デフォルトのモデル仕様に限界があることが示された。
• 球面性仮定が満たされない状況で、ベイジアンANOVAに集約データを使用すると、証拠が系統的に歪められる。
• ベイジアン反復測定設計において、バイアスのない推論を得るためには、非集約データにおいて被験者およびアイテムの両方のランダム効果を明示的にモデル化することが不可欠である。