[论文解读] Application of the hierarchical bootstrap to multi-level data in neuroscience

Varun Saravanan, Gordon J Berman+1 more|PubMed|Jul 15, 2020

Neurobiology and Insect Physiology Research参考文献 42被引用 23

一句话总结

本文提出分层自 resampling（hierarchical bootstrap）作为一种稳健且直观的方法，用于分析多层级神经科学数据集（如动物与试验之间的神经元数据），在传统统计方法会夸大第一类错误率的背景下尤为适用。通过按层级顺序逐级自 resampling，该方法能保持正确的错误率，且统计功效高于汇总方法，在模拟数据和鸣禽、果蝇的真实数据中均优于经典检验与线性混合模型（LMMs）。

ABSTRACT

A common feature in many neuroscience datasets is the presence of hierarchical data structures, most commonly recording the activity of multiple neurons in multiple animals across multiple trials. Accordingly, the measurements constituting the dataset are not independent, even though the traditional statistical analyses often applied in such cases (e.g., Student's t-test) treat them as such. The hierarchical bootstrap has been shown to be an effective tool to accurately analyze such data and while it has been used extensively in the statistical literature, its use is not widespread in neuroscience - despite the ubiquity of hierarchical datasets. In this paper, we illustrate the intuitiveness and utility of this approach to analyze hierarchically nested datasets. We use simulated neural data to show that traditional statistical tests can result in a false positive rate of over 45%, even if the Type-I error rate is set at 5%. While summarizing data across non-independent points (or lower levels) can potentially fix this problem, this approach greatly reduces the statistical power of the analysis. The hierarchical bootstrap, when applied sequentially over the levels of the hierarchical structure, keeps the Type-I error rate within the intended bound and retains more statistical power than summarizing methods. We conclude by demonstrating the effectiveness of the method in two real-world examples, first analyzing singing data in male Bengalese finches (<i>Lonchura striata</i> var. <i>domestica</i>) and second quantifying changes in behavior under optogenetic control in flies (<i>Drosophila melanogaster</i>).

研究动机与目标

• 解决神经科学中广泛存在的传统统计检验（如 t 检验）误用问题，这些检验假设层级结构数据中各观测点相互独立。
• 突出当在多层级数据集中错误地假设独立性时，第一类错误率可能被显著夸大（模拟中最高达 45%）。
• 证明数据汇总虽可降低第一类错误率，但会严重削弱统计功效。
• 提出分层自 resampling 作为更优替代方法，可在保持正确错误率的同时保留较高的统计功效。
• 通过鸣禽发声和果蝇光遗传行为的真实应用，展示该方法的实际效用。

提出的方法

• 通过按数据层级顺序（如试验、神经元、动物）依次自 resampling 来应用分层自 resampling，以保持嵌套结构。
• 在每个层级使用非参数自 resampling（有放回抽样）生成原假设下检验量的分布。
• 将 p_boot 定义为自 resampling 重复中检验量达到或超过观测值极端程度的比例，作为 p 值。
• 在模拟和真实数据集中，将分层自 resampling 的性能与传统 t 检验、数据汇总和线性混合模型（LMMs）进行比较。
• 使用 Python 和 Jupyter Notebook 实现该方法，开源代码已发布于 GitHub，确保可复现性。
• 报告直接概率（p_boot）而非 p 值，提供对支持某一假设的证据更直观的解释。

实验结果

研究问题

• RQ1 在数据点非独立的层级神经科学数据集中，传统统计检验在多大程度上会夸大第一类错误率？
• RQ2 分层自 resampling 在保持正确第一类错误率和统计功效方面，相较于数据汇总和 LMMs 表现如何？
• RQ3 分层自 resampling 是否能在具有复杂层级结构的真实神经科学数据中（如鸣禽发声和果蝇光遗传行为）检测到真实效应？
• RQ4 分层自 resampling 的直接概率输出（p_boot）相较于传统 p 值，在解释性方面有何改进？
• RQ5 为何尽管 LMMs 在建模随机效应方面具有灵活性，但在小样本嵌套神经科学数据集中仍可能产生误导性结果？

主要发现

• 将传统 t 检验应用于层级数据时，由于伪重复和独立性假设被违反，即使显著性水平设为 5%，第一类错误率仍可能超过 45%。
• 数据汇总虽可降低第一类错误率，但会严重削弱统计功效，导致更高的假阴性率。
• 分层自 resampling 在保持名义第一类错误率（控制在 5% 以内）的同时，比汇总方法保留了更高的统计功效。
• 在鸣禽研究中，分层自 resampling 显示同类型音节存在适应性泛化的概率为 0.85，表明该效应有强证据支持，而传统方法未能可靠检测到。
• 在果蝇光遗传学实验中，分层自 resampling 识别出显著的行为效应，而传统方法产生假阳性，汇总方法则无显著结果。
• 在鸣禽数据中，LMMs 产生反直觉结果——显示对抗适应性泛化有显著效应，但对适应性泛化无显著效应，与先前文献相悖，提示小样本中模型设定问题及潜在偏差。