[논문 리뷰] Time Resolution Dependence of Information Measures for Spiking Neurons: Atoms, Scaling, and Universality

Sarah Marzen, Michael R. DeWeese외 1명|arXiv (Cornell University)|2015. 04. 18.

Neural dynamics and brain function인용 수 5

한 줄 요약

이 논문은 자극 반응 신경세포에서 정보이론적 측정치—예를 들어 엔트로피율, 통계적 복잡도, 초과 엔트로피—가 시간 해상도에 따라 어떻게 변하는지 조사한다. 이는 이러한 측정치의 스케일링 행동이 간격 간 상관관계를 드러낸다는 것을 보여주며, 적분-및-화염 신경세포의 경우 초과 엔트로피와 정규화된 통계적 복잡도가 연속 시간 근사에서 유니버설해지며, 특정 생물물리적 메커니즘에 관계없이 간격 간 분산 계수에만 의존한다는 것을 입증한다.

ABSTRACT

The mutual information between stimulus and spike-train response is commonly used to monitor neural coding efficiency, but neuronal computation broadly conceived requires more refined and targeted information measures of input-output joint processes. A first step towards that larger goal is to develop information measures for individual output processes, including information generation (entropy rate), stored information (statistical complexity), predictable information (excess entropy), and active information accumulation (bound information rate). We calculate these for spike trains generated by a variety of noise-driven integrate-and-fire neurons as a function of time resolution and for alternating renewal processes. We show that their time-resolution dependence reveals coarse-grained structural properties of interspike interval statistics; e.g., $τ$-entropy rates that diverge less quickly than the firing rate indicate interspike interval correlations. We also find evidence that the excess entropy and regularized statistical complexity of different types of integrate-and-fire neurons are universal in the continuous-time limit in the sense that they do not depend on mechanism details. This suggests a surprising simplicity in the spike trains generated by these model neurons. Interestingly, neurons with gamma-distributed ISIs and neurons whose spike trains are alternating renewal processes do not fall into the same universality class. These results lead to two conclusions. First, the dependence of information measures on time resolution reveals mechanistic details about spike train generation. Second, information measures can be used as model selection tools for analyzing spike train processes.

연구 동기 및 목표

• 스파이크 트레인의 정보이론적 측정치가 시간 해상도에 따라 어떻게 변하는지, 특히 밀리초 이하의 영역에서 이해하는 것.
• 특정 정보 측정치—예를 들어 초과 엔트로피와 통계적 복잡도—가 연속 시간 근사에서 모델의 세부 사항에 독립적인지 확인하는 것.
• 다양한 스파이크 트레인 통계(예: 감마분포를 따르는 ISIs 대비 교차 재생 과정)가 같은 유니버설리티 클래스에 속하는지 규명하는 것.
• 시간 해상도 스케일링을 이용해 신경 코드 해석에서 모델 선택과 기계적 추론을 위한 도구로 활용하는 것.
• 정보이론을 사용해 미세 시간 스케일의 신경 통신을 분석할 때 발생하는 개념적 및 계산적 과제를 명확히 하는 것.

제안 방법

• 노이즈 구동된 적분-및-화염 신경세포에서 생성된 스파이크 트레인에 대해 엔트로피율, 통계적 복잡도, 초과 엔트로피, 바운드 정보율을 계산한다.
• 재생 과정과 교차 재생 과정을 모델로 사용하여 이러한 측정치의 시간 해상도 의존성을 분석한다.
• Δt → 0 근사에서 점점이 분석을 적용하여 정보 측정치의 유니버설 스케일링 법칙을 유도한다.
• 변수 교환 기법을 사용하여 평균 발화율 μ의 스케일링에 대해 핵심 측정치의 불변성을 입증함으로써, 이들이 오직 분산 계수 $C_V$에만 의존한다는 것을 보여준다.
• 스파이크 간격의 누적분포함수 $\Phi(t)$와 확률밀도함수 $\phi(t)$를 포함하는 적분 표현식을 사용하여 정보이론적 양을 계산한다.
• 유니버설리티를 드러내기 위해 $\lim_{\Delta t \to 0} C_\mu(\Delta t) + \log_2(\mu\Delta t)$ 및 관련 양의 해석적 표현식을 유도한다.

실험 결과

연구 질문

• RQ1 정보 측정치의 시간 해상도 의존성이 스파이크 간격 통계의 구조적 특성에 어떻게 드러나는가?
• RQ2 적분-및-화염 신경세포의 초과 엔트로피와 통계적 복잡도가 연속 시간 근사에서 모델 특수 매개변수에 독립적인 유니버설리티를 가지는가?
• RQ3 감마분포를 따르는 ISIs를 가진 신경세포와 교차 재생 과정은 같은 유니버설리티 클래스에 속하는가?
• RQ4 스파이크 간격 상관관계(측정치로는 $C_V$)가 정보 측정치의 스케일링에 미치는 역할은 무엇인가?
• RQ5 정보이론적 측정치가 시간 해상도 행동에 기반해 스파이크 트레인 과정의 모델 선택 도구로 사용될 수 있는가?

주요 결과

• 엔트로피율 $h_\mu(\Delta t)$ 와 초과 엔트로피 $E(\Delta t)$ 는 시간 해상도에 따라 스케일링되며, 그 발산 행동이 간격 간 상관관계를 드러낸다: $\log_2(\mu\Delta t)$ 보다 느리게 발산하면 상관관계가 있음을 의미한다.
• 초과 엔트로피와 정규화된 통계적 복잡도는 연속 시간 근사에서 유니버설해지며, 간격 간 분산 계수 $C_V$에만 의존하며, 특정 적분-및-화염 메커니즘에는 영향을 받지 않는다.
• 두 매개변수 스파이크 간격 분포 가족에 대해 $\lim_{\Delta t \to 0} C_\mu(\Delta t) + \log_2(\mu\Delta t)$ 는 $C_V$에만 의존하며, 평균 발화율 $\mu$에는 영향을 받지 않는다.
• $C_V \to 0$ 일 때 초과 엔트로피 $E$ 는 $\log_2(1/C_V)$ 와 같이 로그적으로 발산하며, 거의 정기적인 스파이크 트레인과 일치한다.
• 바운드 정보율 $b_\mu(\Delta t)/\Delta t$ 는 $C_V \to 0$ 일 때 $1/(2C_V^2)$ 와 같이 발산하여 거의 정기적인 트레인에서 예측 가능성 증가를 나타낸다.
• 최소한의 $C_\mu(\Delta t)$ 는 정기적인 스파이크 트레인에서 달성되며, $\Delta t \to 0$ 일 때 $C_\mu(\Delta t) \to \log_2(1/\mu\Delta t)$ 로 수렴하여 이론적 하한값을 확인한다.