[论文解读] Data aggregation can lead to biased inferences in Bayesian linear mixed models

Daniel J. Schad, Bruno Nicenboim+1 more|Data Archiving and Networked Services (DANS)|Jan 1, 2022

Psychometric Methodologies and Testing被引用 5

一句话总结

本研究表明，当球形假设被违反或忽略项目水平方差时，贝叶斯线性混合模型中的数据聚合会导致贝叶斯因子产生偏差。通过基于模拟的校准，作者表明，聚合分析会产生过于宽松或过于保守的证据，而具有完整随机效应结构的非聚合模型则能提供无偏推断。

ABSTRACT

Bayesian linear mixed-effects models are increasingly being used in the cognitive sciences to perform null hypothesis tests, where a null hypothesis that an effect is zero is compared with an alternative hypothesis that the effect exists and is different from zero. While software tools for Bayes factor null hypothesis tests are easily accessible, how to specify the data and the model correctly is often not clear. In Bayesian approaches, many authors recommend data aggregation at the by-subject level and running Bayes factors on aggregated data. Here, we use simulation-based calibration for model inference to demonstrate that null hypothesis tests can yield biased Bayes factors, when computed from aggregated data. Specifically, when random slope variances differ (i.e., violated sphericity assumption), Bayes factors are too conservative for contrasts where the variance is small and they are too liberal for contrasts where the variance is large. Moreover, Bayes factors for by-subject aggregated data are biased (too liberal) when random item variance is present but ignored in the analysis. We also perform corresponding frequentist analyses (type I and II error probabilities) to illustrate that the same problems exist and are well known from frequentist tools. These problems can be circumvented by running Bayesian linear mixed-effects models on non-aggregated data such as on individual trials and by explicitly modeling the full random effects structure. Reproducible code is available from https://osf.io/mjf47/.

研究动机与目标

• 调查贝叶斯线性混合模型中的数据聚合是否会导致贝叶斯因子推断产生偏差。
• 检验违反球形假设对聚合数据中贝叶斯因子可靠性的影响。
• 评估在按被试聚合分析中，未建模的项目水平方差对贝叶斯因子准确性的影响。
• 比较聚合与非聚合贝叶斯模型在检测真实效应方面的表现。
• 为贝叶斯重复测量设计中随机效应结构的指定提供最佳实践指导。

提出的方法

• 采用基于模拟的校准（SBC）评估后验预测p值和贝叶斯因子的可靠性。
• 模拟了具有不同随机斜率方差和项目水平方差的多种实验设计，以检验球形假设的违反情况。
• 使用brms和BayesFactor包对聚合与非聚合数据分别应用贝叶斯线性混合模型（LMM）和方差分析。
• 使用bridgesampling计算分层模型中模型比较的贝叶斯因子。
• 通过比较不同条件下预期与观察到的后验预测p值，评估贝叶斯因子的偏差。
• 评估在不同随机效应结构下（包括完整模型与简化模型）的模型表现。

实验结果

研究问题

• RQ1 将数据聚合到被试水平是否会导致贝叶斯线性混合模型中贝叶斯因子估计产生偏差？
• RQ2 违反球形假设如何影响聚合数据分析中贝叶斯因子的准确性？
• RQ3 在数据被聚合时，未建模的项目水平方差对贝叶斯因子推断有何影响？
• RQ4 具有完整随机效应结构的非聚合贝叶斯模型能否消除贝叶斯因子估计中的偏差？
• RQ5 在何种条件下，即使使用聚合数据，贝叶斯因子仍能保持无偏？

主要发现

• 当球形假设被违反时，随机斜率方差较大的对比会使得贝叶斯因子过于宽松，而方差较小的对比则会变得过于保守。
• 在忽略项目水平方差的情况下进行数据聚合，会导致贝叶斯因子产生偏差，从而高估效应存在的证据。
• 具有完整随机效应结构（包括被试和项目随机斜率）的非聚合模型显著减少或消除了贝叶斯因子估计中的偏差。
• 即使在非聚合数据中，当球形假设被违反时，BayesFactor包的分析仍存在部分偏差，表明默认模型设定存在局限性。
• 在贝叶斯ANOVA中使用聚合数据时，若球形假设不成立，会导致证据系统性地扭曲。
• 在非聚合数据中显式建模被试和项目随机效应，是实现贝叶斯重复测量设计中无偏推断的关键。