[论文解读] Equivalence testing for linear regression

Harlan Campbell|arXiv (Cornell University)|Apr 3, 2020

Advanced Statistical Methods and Models被引用 5

一句话总结

本文提出了线性回归的等价性检验方法，使研究者能够统计确认预测变量与结果之间不存在有意义的关联。该文提出使用等价性边际的未标准化回归系数和偏相关系数的检验方法，通过p值和置信区间评估微小效应，为应用研究中提供了NHST和贝叶斯方法的频率派替代方案。

ABSTRACT

We introduce equivalence testing procedures for linear regression analyses. Such tests can be very useful for confirming the lack of a meaningful association between a continuous outcome and a continuous or binary predictor. Specifically, we propose an equivalence test for unstandardized regression coefficients and an equivalence test for semipartial correlation coefficients. We review how to define valid hypotheses, how to calculate p-values, and how these tests compare to an alternative Bayesian approach with applications to examples in the literature.

研究动机与目标

• 为广泛使用的统计技术——线性回归，填补尚未建立的等价性检验方法的空白。
• 使研究者能够正式检验预测变量与结果之间是否存在有意义的关联，克服NHST在无法确认原假设时存在的逻辑缺陷。
• 为原假设显著性检验（NHST）提供一种频率派替代方法，使研究者在适当时可得出“无显著效应”的结论。
• 为定义和证明等价性边际提供实用工具，尤其适用于任意或非解释性量表。
• 通过心理学和教育研究中的真实案例，比较所提出的频率派等价性检验与贝叶斯方法的结果。

提出的方法

• 提出使用定义好的等价性边际Δ的两组单侧t检验（TOST）方法，对未标准化回归系数进行等价性检验。
• 将原假设定义为H₀: θ ∉ (−Δ, Δ)，其中θ为回归系数，检验效应量是否小到可视为可忽略。
• 引入偏相关系数（SPC）的等价性检验，以评估在控制其他变量后，某一预测变量的独立贡献。
• 使用TOST程序计算等价性检验的p值，并利用效应量的置信区间判断其是否完全落在等价性边际范围内。
• 提供R函数（如`equivSR`、`equiv_corrZ`）以计算未标准化和偏相关系数的p值、效应量及等价性检验结果。
• 将频率派等价性检验结果与贝叶斯因子方法（如贝叶斯因子）进行比较，以评估不同方法间的一致性与可解释性。

实验结果

研究问题

• RQ1 我们能否通过等价性检验，正式检验线性回归中预测变量与结果之间不存在有意义关联？
• RQ2 当使用任意或非解释性量表时，研究者如何定义和证明等价性边际Δ？
• RQ3 在相同回归模型下，频率派等价性检验结果与贝叶斯方法在p值和贝叶斯因子方面的表现如何比较？
• RQ4 等价性检验在检测真实心理和教育数据集中的微小效应方面表现如何？
• RQ5 在多元回归模型中，控制协变量如何影响等价性检验的结果？

主要发现

• 在Salaries数据集中，性别系数（β = 0.045）的等价性检验p值为0.076，在α = 0.05水平下未能拒绝有意义效应的原假设，表明该效应可能可忽略。
• 在心态研究中，心态得分与学习目标之间的偏相关系数为r = 0.098，等价性检验的p值为0.016，表明该效应可能可忽略。
• 在心态研究中，心态与表现回避目标之间的相关系数为r = -0.109，等价性检验的p值为0.027，表明该效应处于−0.20的等价性边际范围内。
• 对于Raven测试得分，其与心态得分的偏相关系数为r = -0.122，等价性检验的p值为0.000，表明在Δ = 0.20范围内有强证据支持等价性（即效应可忽略）。
• 在控制认知能力后，心态与韧性（Raven测试）之间的偏相关系数降至r = -0.055，p值为0.000，即使在调整后仍确认等价性。
• 在心态研究中，贝叶斯因子显示在多个案例中对原假设提供了强证据（如排名的BF = 5.59e-21），与频率派等价性检验结果一致。