[논문 리뷰] Application of the hierarchical bootstrap to multi-level data in neuroscience

Varun Saravanan, Gordon J Berman외 1명|PubMed|2020. 07. 15.

Neurobiology and Insect Physiology Research참고 문헌 42인용 수 23

한 줄 요약

이 논문은 다층 신경과학 데이터셋(예: 동물과 시험 간의 뉴런)을 분석하기 위해 기존 통계 방법이 유의수준 오류율을 과도하게 높이는 문제를 해결하기 위해 계층적 부트스트랩을 제안한다. 계층의 각 수준에서 순차적으로 부트스트랩을 수행함으로써, 기존의 요약 방법보다 더 높은 통계적 검정력과 정확한 오류율을 유지한다. 시뮬레이션 및 노래새와 파리의 실제 데이터에서 기존의 통계적 검정법과 선형 혼합 모델(LMM)보다 우수한 성능을 보였다.

ABSTRACT

A common feature in many neuroscience datasets is the presence of hierarchical data structures, most commonly recording the activity of multiple neurons in multiple animals across multiple trials. Accordingly, the measurements constituting the dataset are not independent, even though the traditional statistical analyses often applied in such cases (e.g., Student's t-test) treat them as such. The hierarchical bootstrap has been shown to be an effective tool to accurately analyze such data and while it has been used extensively in the statistical literature, its use is not widespread in neuroscience - despite the ubiquity of hierarchical datasets. In this paper, we illustrate the intuitiveness and utility of this approach to analyze hierarchically nested datasets. We use simulated neural data to show that traditional statistical tests can result in a false positive rate of over 45%, even if the Type-I error rate is set at 5%. While summarizing data across non-independent points (or lower levels) can potentially fix this problem, this approach greatly reduces the statistical power of the analysis. The hierarchical bootstrap, when applied sequentially over the levels of the hierarchical structure, keeps the Type-I error rate within the intended bound and retains more statistical power than summarizing methods. We conclude by demonstrating the effectiveness of the method in two real-world examples, first analyzing singing data in male Bengalese finches (<i>Lonchura striata</i> var. <i>domestica</i>) and second quantifying changes in behavior under optogenetic control in flies (<i>Drosophila melanogaster</i>).

연구 동기 및 목표

• 신경과학에서 독립성을 가정하는 전통적 통계 검정(예: t-검정)이 다층적 구조를 가진 데이터에 잘못 적용되는 문제를 다루기.
• 다층 데이터셋에서 독립성이 잘못 가정될 경우, 시뮬레이션에서 최대 45%까지 증가하는 유의수준 오류율의 위험을 강조하기.
• 요약 방법은 유의수준 오류율을 줄이지만 통계적 검정력이 극도로 감소한다는 점을 보여주기.
• 통계적 검정력을 유지하면서도 정확한 오류율을 유지하는 데에 뛰어난 성능을 보이는 계층적 부트스트랩을 제안하기.
• 노래새의 음성 발화와 파리의 광유전자 행동 실험에 응용하여 실제 적용 가능성을 입증하기.

제안 방법

• 데이터의 계층적 구조(예: 시험, 뉴런, 동물)의 각 수준에서 순차적으로 부트스트랩을 수행함으로써 중첩된 구조를 유지하기.
• 각 계층적 수준에서 대체 샘플링을 통해 비모수적 부트스트랩을 수행하여 귀무가설 하에서 검정 통계량의 분포를 생성하기.
• p_boot를 관측된 통계량과 동일하거나 더 극단적인 부트스트랩 복제 수의 비율로 계산하기.
• 시뮬레이션 및 실제 데이터셋에서 기존의 t-검정, 요약 방법, 선형 혼합 모델(LMM)과의 성능 비교하기.
• Python과 Jupyter 노트북을 사용하여 구현하고, 재현 가능성을 위해 GitHub에 오픈소스 코드 제공하기.
• 통계적 유의수준을 나타내는 p-값이 아닌 직접적인 확률(p_boot)을 보고하여 가설에 대한 증거의 해석이 더 직관적이게 하기.

실험 결과

연구 질문

• RQ1 독립성이 가정되지 않는 다층 신경과학 데이터셋에서 전통적 통계 검정이 얼마나 높은 유의수준 오류율을 초래하는가?
• RQ2 요약 방법과 LMM과 비교해 계층적 부트스트랩이 정확한 유의수준 오류율과 통계적 검정력을 유지하는 정도는 어떠한가?
• RQ3 노래새의 음성 발화와 파리의 광유전자 행동 데이터처럼 복잡한 계층적 구조를 가진 실제 신경과학 데이터에서 계층적 부트스트랩이 진짜 효과를 탐지할 수 있는가?
• RQ4 계층적 부트스트랩이 직접적인 확률(p_boot)을 출력함으로써 기존의 p-값에 비해 어떻게 이해도를 향상시키는가?
• RQ5 LMM는 유연한 랜덤 효과 모델링이 가능하지만, 소표본 및 중첩된 신경과학 데이터셋에서는 왜 잘못된 결과를 낼 수 있는가?

주요 결과

• 독립성을 가정하지 않은 다층 데이터셋에 t-검정을 적용할 경우, 가짜 복제와 독립성 위반으로 인해 유의수준 오류율이 5% 설정에도 불구하고 45%를 초과할 수 있다.
• 요약 방법은 유의수준 오류율을 줄이지만 통계적 검정력이 극도로 감소하여 거짓 음성 비율이 증가한다.
• 계층적 부트스트랩은 명목상의 유의수준 오류율(5% 이내)을 유지하면서도 요약 방법보다 높은 통계적 검정력을 유지한다.
• 노래새 연구에서 계층적 부트스트랩은 같은 유형의 음절에서 적응적 일반화가 관찰될 가능성이 0.85로 나타나 효과에 대한 강력한 증거를 보였지만, 기존의 방법들은 이를 신뢰성 있게 탐지하지 못했다.
• 파리의 광유전자 실험에서는 기존 방법이 잘못된 양성 결과를 내놓고 요약 방법은 유의미한 결과를 도출하지 못한 반면, 계층적 부트스트랩은 유의미한 행동 효과를 탐지했다.
• 노래새 데이터에서 LMM는 반적응적 일반화에는 유의미한 효과가 있었지만 적응적 일반화에는 그렇지 않아 기존 문헌과 모순되는 결과를 보였으며, 이는 모델 설정 문제와 소표본에서의 편향 가능성을 시사한다.