[论文解读] A numerical variability approach to results stability tests and its application to neuroimaging

Yohan Chatelain, Loïc Tetrel+6 more|arXiv (Cornell University)|Jul 3, 2023

Parallel Computing and Optimization TechniquesComputer Science被引用 3

一句话总结

本文提出一种基于数值变异性的方法，用于神经影像学结果稳定性的测试，通过随机舍入浮点运算来估计可接受的变异范围。该方法应用于fMRIPrep后，能够检测出细微的算法变更，同时接受固有的数值变异，显著提升了长期神经影像学研究的可重现性。

ABSTRACT

Ensuring the long-term reproducibility of data analyses requires results stability tests to verify that analysis results remain within acceptable variation bounds despite inevitable software updates and hardware evolutions. This paper introduces a numerical variability approach for results stability tests, which determines acceptable variation bounds using random rounding of floating-point calculations. By applying the resulting stability test to \fmriprep, a widely-used neuroimaging tool, we show that the test is sensitive enough to detect subtle updates in image processing methods while remaining specific enough to accept numerical variations within a reference version of the application. This result contributes to enhancing the reliability and reproducibility of data analyses by providing a robust and flexible method for stability testing.

研究动机与目标

• 为解决在硬件和软件持续演进的背景下，确保神经影像学数据分析长期可重现性的挑战。
• 开发一种稳健且灵活的稳定性测试方法，基于固有的数值变异性来定义可接受的变异范围。
• 在fMRIPrep（一种广泛使用的神经影像学预处理流程）中应用并验证该方法。
• 确保稳定性测试对有意义的算法变更足够敏感，同时对自然数值变异保持特异性。

提出的方法

• 使用随机舍入技术（一种随机算术方法）估算数值变异性，通过将浮点结果舍入到相邻可表示的值来扰动结果。
• 通过在多个运行中对参考应用（fMRIPrep）应用随机舍入，采样参考结果的零分布。
• 使用参数统计检验（公式1）将新版本或新环境下的未扰动结果与扰动后的参考分布进行比较。
• 对结果应用空间平滑（FWHM ≥ 15 mm），以近似正态分布并提高检验特异性，与检验的统计假设保持一致。
• 通过在测试结果中使用确定性执行，仅在参考分布采样过程中引入随机扰动，来控制可重现性。
• 对体素间的多重比较应用邦弗朗尼校正，承认由于空间相关性导致该校正具有保守性。

Figure 1: Stability test construction and evaluation. The reference application $\Lambda$ is executed $n$ times on the input data, with random perturbations, resulting in images $X_{k}$ from which a null distribution is built to test the result produced by target application $\tilde{\Lambda}$ . All

实验结果

研究问题

• RQ1 通过随机舍入估算的数值变异性是否能可靠地定义神经影像学流程中结果稳定性测试的可接受变异范围？
• RQ2 所提出的稳定性测试在检测fMRIPrep预处理算法中意义重大的变更方面有多敏感？
• RQ3 空间平滑在多大程度上提升了稳定性测试的特异性和统计有效性？
• RQ4 硬件、操作系统和并行化方式的差异如何影响该测试区分数值噪声与实际算法变更的能力？
• RQ5 该方法是否可推广至神经影像学以外的其他科学领域？

主要发现

• 该稳定性测试成功检测到fMRIPrep中细微的算法变更，同时接受参考版本内的数值变异，表现出高敏感性和特异性。
• 随机舍入产生的变异模式与改变随机种子所产生的模式相当，增强了该方法可靠性的信心。
• 必须使用FWHM至少为15 mm的空间平滑才能实现可接受的特异性，因为这能更好地使体素强度分布与统计检验的正态性假设对齐。
• 该测试在不同受试者间表现不一，凸显了使用具有不同扫描参数的多样化数据集以确保稳健性的重要性。
• 结合邦弗朗尼校正的参数检验在计算上高效且足以满足测试需求，尽管由于体素相关性可能略显保守。
• 该方法具有可推广性，适用于其他数据类型，包括4D功能神经影像数据，未来工作计划扩展该框架。

Figure 2: Voxel-wise means of significant bits measured across n=30 perturbed samples for RR and RS perturbations and 8 subjects.