[论文解读] Evidential Value in ANOVA-Regression Results in Scientific Integrity Studies

Chris A. J. Klaassen|arXiv (Cornell University)|May 18, 2014

Statistical Methods in Clinical Trials参考文献 3被引用 4

一句话总结

本文提出了一种贝叶斯证据价值框架，通过评估在独立性假设下观察到的统计结果是否好得难以置信，来检测方差分析-回归研究中的数据伪造行为。该框架基于具有相关误差的多元正态模型，推导出似然比（证据价值）的界限，表明检验统计量 $ Z_{\text{V}} $ 的异常小值暗示数据伪造，且证据价值始终 $ \geq 1 $，表明在此模型下不存在可免责的证据。

ABSTRACT

Some scientific publications are under suspicion of fabrication of data. Since humans are bad random number generators, there might be some evidential value in favor of fabrication in the statistical results as presented in such papers. In case of ANOVA-Regression studies we present the evidential value of the results of such a study in favor of the hypothesis of a dependence structure in the underlying data, which indicates fabrication, versus the hypothesis of independence, which is the ANOVA model assumption. Applications of this approach are also presented.

研究动机与目标

• 开发一种统计方法，用于在科学诚信调查中评估方差分析-回归结果的证据价值。
• 通过识别在方差分析独立性假设下好得难以置信的结果，检测数据伪造行为。
• 提出一种贝叶斯方法，计算或界定支持数据伪造与数据完整性的似然比（证据价值）。
• 将该方法应用于真实案例，如 Förster 和 Denzler (2012)，以评估可疑的 p 值和模型拟合度。
• 表明证据价值始终 $ \geq 1 $，意味着在此模型下任何结果都无法被免责，反映了‘糟糕的科学无法通过良好的统计方法弥补’的原则。

提出的方法

• 在法医学统计中采用贝叶斯范式，结合先验几率与似然比，计算数据伪造的后验几率。
• 通过跨单元的测量误差 $ \varepsilon_{ij} $ 的相关性来建模数据伪造，偏离标准方差分析中独立性的假设。
• 定义检验统计量 $ Z_{\text{V}} = \frac{\sqrt{n}(X_1 - 2X_2 + X_3)}{\sqrt{S_1^2 + 4S_2^2 + S_3^2}} $，在原假设 $ \mu_1 - 2\mu_2 + \mu_3 = 0 $ 下渐近服从标准正态分布。
• 基于依赖与独立结构下的多元正态密度函数，推导出证据价值 $ \mathbb{V} = \frac{f(E|H_F)}{f(E|H_I)} $ 的界限。
• 将该方法应用于 Förster 和 Denzler (2012) 的真实数据，其中可疑的高 p 值提示可能存在伪造行为。
• 利用渐近理论表明，在原假设下 $ Z_{\text{V}} $ 具有单峰对称分布，支持其作为模型拟合度偏差的检测器。

实验结果

研究问题

• RQ1 当原始数据不可用时，能否量化方差分析-回归结果的证据价值以检测数据伪造？
• RQ2 在观察到的检验统计量下，伪造数据模型与标准方差分析模型之间的似然比（证据价值）如何变化？
• RQ3 在具有相关误差的多元正态模型下，方差分析-回归结果的证据价值可施加何种界限？
• RQ4 发表研究中可疑的高 p 值在多大程度上与检验统计量 $ Z_{\text{V}} $ 的低值相关，提示可能存在数据操纵？
• RQ5 证据价值是否始终 $ \geq 1 $？这对此类模型中免责证据的可能性意味着什么？

主要发现

• 证据价值 $ \mathbb{V} $，即观察结果在伪造与完整两种假设下的密度之比，始终 $ \geq 1 $，意味着在此模型下任何结果都无法被免责。
• 在原假设 $ \mu_1 - 2\mu_2 + \mu_3 = 0 $ 下，检验统计量 $ Z_{\text{V}} $ 渐近服从标准正态分布，其绝对值过小提示可能存在数据伪造。
• 通过定理 4.1 推导出的不等式，证据价值在下限和上限之间受到约束，其依赖于样本方差和相关矩阵的结构。
• 在 Förster 和 Denzler (2012) 的案例中，观察到的 p 值异常接近 1，与低 $ |Z_{\text{V}}| $ 一致，支持数据操纵的假设。
• 该方法与频率学派方法一致，但为同一统计量提供了贝叶斯解释，且在同方差条件下 $ Z_{\text{V}} $ 与 $ Z_C $ 为渐近等价。
• 该方法可通过乘法合并多个独立研究的证据价值，以评估出版物的整体完整性。