[논문 리뷰] Sensitivity and specificity of a Bayesian single trial analysis for time varying neural signals

Jeff T. Mohl, Valeria C. Caruso외 2명|PubMed|2020. 01. 30.

Neural dynamics and brain function참고 문헌 31인용 수 9

한 줄 요약

이 논문은 사전에 정의된 네 가지 반응 패턴(혼합, 중간, 외부, 워너-테이크-올)을 가진 합성 스파이크 수 데이터를 시뮬레이션하여, 다중 자극에 대한 시간에 따라 변하는 신경 반응을 탐지하기 위한 베이지안 단일 시험 분석을 평가한다. 시험 수가 20을 초과하고 발화 속도 차이가 크면(예: 50Hz 대 20Hz), 반응 유형을 식별하는 데 97% 이상의 정확도를 달성하며, 단일 시험 수준에서 변동하는 신경 코드를 탐지하는 데 높은 민감도와 특이도를 보여준다.

ABSTRACT

We recently reported the existence of fluctuations in neural signals that may permit neurons to code multiple simultaneous stimuli sequentially across time [1]. This required deploying a novel statistical approach to permit investigation of neural activity at the scale of individual trials. Here we present tests using synthetic data to assess the sensitivity and specificity of this analysis. We fabricated datasets to match each of several potential response patterns derived from single-stimulus response distributions. In particular, we simulated dual stimulus trial spike counts that reflected fluctuating mixtures of the single stimulus spike counts, stable intermediate averages, single stimulus winner-take-all, or response distributions that were outside the range defined by the single stimulus responses (such as summation or suppression). We then assessed how well the analysis recovered the correct response pattern as a function of the number of simulated trials and the difference between the simulated responses to each "stimulus" alone. We found excellent recovery of the mixture, intermediate, and outside categories (>97% correct), and good recovery of the single/winner-take-all category (>90% correct) when the number of trials was >20 and the single-stimulus response rates were 50Hz and 20Hz respectively. Both larger numbers of trials and greater separation between the single stimulus firing rates improved categorization accuracy. These results provide a benchmark, and guidelines for data collection, for use of this method to investigate coding of multiple items at the individual-trial time scale.

연구 동기 및 목표

• 다중 자극에 대한 변동하는 신경 반응을 탐지하기 위한 베이지안 단일 시험 분석의 민감도와 특이도를 검증하는 것.
• 다양한 실험 조건에서 알려진 반응 패턴(혼합, 중간, 외부, 워너-테이크-올)이 얼마나 잘 복원되는지 평가하는 것.
• 신뢰할 수 있는 분류를 보장하기 위해 데이터 수집에 대한 경험적 지침을 제공하는 것, 특히 최소 시험 수와 필요로 하는 발화 속도 차이를 포함한다.
• 특히 비포isson 분포를 띠는 반응에서 이상화된 모델 가정에서 벗어난 경우에도 방법의 강건성을 평가하는 것.
• 특히 고발화 속도를 보이는 영양 및 운동 영역에서의 실제 전기생리학적 데이터 적용을 위한 기준을 설정하는 것.

제안 방법

• 단일 자극 조건(A 및 B)에서 지정된 평균 발화 속도를 가진 포아송 과정에 기반한 합성 신경 스파이크 수 데이터셋을 시뮬레이션한다.
• 이중 자극 시험 반응을 네 가지 가정된 패턴 중 하나와 일치시킨다: 혼합(자극 A와 B 사이를 왕복), 중간(안정적인 평균), 외부(합산 또는 억제), 워너-테이크-올(한 자극에 대해 일관된 반응).
• 후행 모델 확률을 사용하여 베이지안 추론을 적용하여 각 시뮬레이션 데이터셋을 네 가지 반응 유형 중 하나로 분류한다.
• 핵심 매개변수를 다양화한다: 조건당 시험 수(n = 5에서 60까지), 단일 자극 조건 간의 발화 속도 차이(예: 20Hz 대 50Hz).
• 베이즈 요인을 통한 모델 비교를 통해 가장 가능성이 높은 반응 패턴을 결정하고, 가장 높은 후행 확률에 기반한 분류를 수행한다.
• 혼합 조건의 매개변수가 단일 자극 반응에서 약간 벗어나도록 시뮬레이션하여 강건성을 테스트하고, 잘못 분류된 비율을 평가한다.

실험 결과

연구 질문

• RQ1 시험 수가 다양할 때, 베이지안 단일 시험 분석이 사전 정의된 반응 패턴(혼합, 중간, 외부, 워너-테이크-올)으로 합성 신경 데이터를 얼마나 정확하게 분류할 수 있는가?
• RQ2 각 반응 유형에 대해 높은 분류 정확도(>90%)를 달성하기 위해 필요한 최소 시험 수와 필요한 발화 속도 차이는 무엇인가?
• RQ3 실제 데이터가 네 가지 가정된 반응 패턴 중 어느 것도 완벽하게 일치하지 않을 경우, 특히 모델 적합도가 떨어지는 경우 방법의 성능은 어떻게 되는가?
• RQ4 반응 분포가 이상화된 가정에서 벗어날 경우, 혼합 가정에 대해 잘못된 할당을 방지하기 위해 방법이 얼마나 보수적인가?
• RQ5 생물학적으로 타당한 조건(예: 20회의 시험, 50Hz 피크 속도, 40% 속도 차이)에서 방법이 단일 시험 수준에서 변동하는 신경 코드를 신뢰성 있게 탐지할 수 있는가?

주요 결과

• 시험 수가 20을 초과하고 발화 속도 차이가 크면(예: 50Hz 대 20Hz), 혼합, 중간, 외부 반응 패턴에 대해 베이지안 단일 시험 분석이 97% 이상의 정확도로 정확한 분류를 달성한다.
• 동일한 조건에서 워너-테이크-올 패턴의 분류 정확도는 90%를 초과하여, 일관된 단일 자극 반응에 대해서도 뛰어난 성능을 보인다.
• 더 많은 시험 수와 더 큰 단일 자극 발화 속도 간의 간격은 모든 반응 유형에서 분류 정확도를 크게 향상시킨다.
• 혼합 조건의 매개변수가 단일 자극 반응에서 약간 벗어나도 모델는 보수적으로 작동하여, 올바른 분류 수가 잘못된 분류 수를 크게 초월했고, 혼합 가정에 대한 잘못된 양성 결과를 올바르게 피했다.
• 조건당 20회의 시험과 상대 발화 속도 차이 40%(예: 50Hz 대 30Hz) 조건에서, 방법은 95% 이상의 분류 정확도를 달성하여 실제 전기생리학적 데이터셋에 적용 가능함을 입증한다.
• 낮은 피크 발화 속도(예: 15Hz)는 큰 시험 수가 있더라도 모델 성능이 떨어지며, 낮은 후행 확률로 나타나 고발화 속도가 신뢰할 수 있는 탐지에 필수적임을 시사한다.