[论文解读] deep-significance - Easy and Meaningful Statistical Significance Testing in the Age of Neural Networks

Dennis Ulmer, Christian Hardmeier+1 more|arXiv (Cornell University)|Apr 14, 2022

Explainable Artificial Intelligence (XAI)Computer Science参考文献 45被引用 19

一句话总结

本论文介绍了 deep-significance，一个开源的 Python 软件包，旨在简化机器学习与深度学习研究中的统计显著性检验。该软件包实现了几乎随机序（ASO）检验及其他稳健方法，以应对机器学习领域中显著性检验使用不足的问题，在各种数据分布下，尤其是在小样本和非正态分布场景中，显著改善了第一类错误控制与统计功效。

ABSTRACT

A lot of Machine Learning (ML) and Deep Learning (DL) research is of an empirical nature. Nevertheless, statistical significance testing (SST) is still not widely used. This endangers true progress, as seeming improvements over a baseline might be statistical flukes, leading follow-up research astray while wasting human and computational resources. Here, we provide an easy-to-use package containing different significance tests and utility functions specifically tailored towards research needs and usability.

研究动机与目标

• 为应对机器学习与深度学习研究中显著性检验（SST）普遍使用不足的问题，该问题可能导致虚假改进被错误验证。
• 通过提供一个面向机器学习研究者的易用、开源软件包，降低显著性检验的感知复杂度。
• 在真实机器学习实验条件下（包括小样本量与非正态分布），评估并比较多种显著性检验方法（尤其是 ASO）的性能。
• 提供一份全面指南，解释显著性检验在机器学习研究中的方法、局限性与最佳实践。
• 证明在典型机器学习基准测试场景中，ASO 相较于经典检验方法（如 t 检验与 Wilcoxon 符号秩检验）展现出更优的第一类错误控制与统计功效。

提出的方法

• 实现几乎随机序（ASO）检验，一种非参数、无假设的检验方法，用于比较两个模型性能得分累积分布之间的差异。
• 将多种标准显著性检验（如 Student t 检验、Wilcoxon 符号秩检验、置换检验、自助抽样）整合进一个统一、用户友好的 Python 软件包中。
• 采用基于模拟的评估框架，评估在不同样本量与基础分布（正态分布、拉普拉斯分布、瑞利分布）下的第一类错误率。
• 通过重复随机抽样估算在受控条件下的统计功效与第一类错误率，模拟典型的机器学习基准测试工作流程。
• 将该软件包应用于一个真实世界案例研究，比较多个自然语言处理任务中的模型性能，验证其实际应用价值。
• 提供详细的文档指南，解释方法选择、假设条件及潜在陷阱，供研究人员参考。

(a) Stochastic order with red $\succeq$ green.

实验结果

研究问题

• RQ1 当应用于机器学习实验中常见的小样本、非正态分布性能得分时，不同显著性检验在第一类错误控制方面表现如何？
• RQ2 几乎随机序（ASO）检验是否能在包括重尾分布与偏态分布在内的多种数据分布下保持适当的第一类错误率？
• RQ3 在小样本机器学习场景中，ASO 与经典检验方法（如 t 检验、Wilcoxon 检验）相比，在检测真实性能差异方面的统计功效如何？
• RQ4 统一且易用的软件包是否能显著提升机器学习研究中显著性检验的采用率？
• RQ5 在深度学习基准测试中，显著性检验的应用存在哪些实际限制与最佳实践？

主要发现

• ASO 在所有测试分布（正态分布、拉普拉斯分布、瑞利分布）下均保持接近名义水平的第一类错误率（接近 0.05），即使在小样本量（n=5）条件下也表现优异，优于经典检验方法，后者常超过名义阈值。
• Student t 检验与 Wilcoxon 符号秩检验在非正态分布下表现出第一类错误率膨胀，而 ASO 保持稳健。
• 自助抽样与置换检验在小样本量下，尤其在偏态分布中，表现出中等程度的第一类错误率膨胀，而 ASO 保持稳定。
• ASO 在检测真实性能差异方面展现出高于经典检验的统计功效，尤其在分布非正态或样本量较小时表现更优。
• deep-significance 软件包成功降低了机器学习研究中显著性检验的使用门槛，使研究人员能以极低的方法论负担应用稳健的统计方法。
• 在案例研究中，ASO 在多个自然语言处理任务中始终提供可靠的推断结果，而经典检验在相同条件下则产生不一致或误导性结果。

(b) Almost stochastic order, with blue $\succsim$ green.