[논문 리뷰] Winner-Take-All as Basic Probabilistic Inference Unit of Neuronal Circuits

Zhaofei Yu, Yonghong Tian외 2명|arXiv (Cornell University)|2018. 08. 02.

Neural dynamics and brain function참고 문헌 25인용 수 5

한 줄 요약

이 논문은 승자독점(WTA) 케이스탈 마이크로순환구조가 확률적 추론의 기본 신경적 구현으로 기능하며, 그 동역학이 확률적 그래픽 모델(PGM)에서 평균장 변분추론과 정확히 일치함을 제안한다. 각 WTA 회로는 뉴런의 활동률을 통해 근사 확률을 표현하고, 상호연결된 WTA 회로들은 공동분포를 표현할 수 있으며, 믿음 전파와 평균장 근사와 비교해 유사한 추론 정확도를 달성한다.

ABSTRACT

Experimental observations of neuroscience suggest that the brain is working a probabilistic way when computing information with uncertainty. This processing could be modeled as Bayesian inference. However, it remains unclear how Bayesian inference could be implemented at the level of neuronal circuits of the brain. In this study, we propose a novel general-purpose neural implementation of probabilistic inference based on a ubiquitous network of cortical microcircuits, termed winner-take-all (WTA) circuit. We show that each WTA circuit could encode the distribution of states defined on a variable. By connecting multiple WTA circuits together, the joint distribution can be represented for arbitrary probabilistic graphical models. Moreover, we prove that the neural dynamics of WTA circuit is able to implement one of the most powerful inference methods in probabilistic graphical models, mean-field inference. We show that the synaptic drive of each spiking neuron in the WTA circuit encodes the marginal probability of the variable in each state, and the firing probability (or firing rate) of each neuron is proportional to the marginal probability. Theoretical analysis and experimental results demonstrate that the WTA circuits can get comparable inference result as mean-field approximation. Taken together, our results suggest that the WTA circuit could be seen as the minimal inference unit of neuronal circuits.

연구 동기 및 목표

• 뇌에서 확률적 추론을 구현할 수 있는 최소한의 일반 목적 신경 회로 모티프를 규명하는 것.
• WTA 신경 동역학과 확률적 그래픽 모델(PGM)에서의 평균장 추론 간 이론적 동치성을 확립하는 것.
• 잠재 함수를 시냅스 가중치와 입력을 통해 표현함으로써 WTA 회로가 임의의 공동분포를 표현할 수 있음을 보여주는 것.
• 각 뉴런의 활동률이 변수 상태에 대한 근사 확률을 정확히 표현함을 검증하는 것.
• 상호연결된 WTA 회로가 체인, 고리, 완전 연결 그래프를 포함한 임의의 위상의 복잡한 PGM에 스케일업 가능하며, 기존 추론 알고리즘과 경쟁 가능한 성능을 보임을 보여주는 것.

제안 방법

• 측성 억제를 통해 경쟁하는 흥분성 뉴런들로 구성된 스파iking 뉴런 네트워크로 WTA 회로를 수학적으로 정의함.
• 각 뉴런의 시냅스 드라이브에 대한 연속시간 미분방정식을 유도하였으며, 이는 평균장 추론 업데이트 규칙과 수학적으로 동치임을 보여줌.
• 각 뉴런의 활동률을 변수 상태의 근사 확률로 매핑하며, 선형 스케일링 인자(예: 50 Hz = 확률 1.0)를 사용함.
• 마르코프 무작위장(MRF)의 공동분포를 표현하기 위해 상호연결된 WTA 회로 네트워크를 사용하며, 시냅스 가중치가 잠재 함수를 표현함.
• 체인, 고리, 완전 연결 구조를 가진 다양한 MRF 위상에서 WTA 네트워크의 스파이킹 동역학을 시뮬레이션하고, 믿음 전파 및 평균장 근사와의 추론 결과를 비교함.
• 믿음 전파에서의 근사 확률과 WTA 네트워크의 활동률 간 상대 오차를 사용하여 추론 정확도를 평가함.

실험 결과

연구 질문

• RQ1 승자독점(WTA) 회로는 케이스탈 마이크로순환구조에서 확률적 추론을 위한 최소한의 신경 모티프가 될 수 있는가?
• RQ2 WTA 회로의 동역학과 확률적 그래픽 모델에서의 평균장 변분추론 간 정확한 수학적 동치성이 존재하는가?
• RQ3 잠재 함수를 시냅스 가중치와 입력을 통해 표현함으로써 WTA 회로가 임의의 공동분포를 표현할 수 있는가?
• RQ4 WTA 뉴런의 활동률이 확률 모델에서 변수 상태의 근사 확률을 정확히 반영하는가?
• RQ5 WTA 기반 추론은 복잡한 그래프 위상으로 확장 가능하며, 믿음 전파 및 평균장 근사와 같은 기존 추론 알고리즘의 성능을 따라할 수 있는가?

주요 결과

• 각 WTA 회로 내 뉴런의 시냅스 드라이브는 근사 확률에 대한 평균장 추론 업데이트 식과 정확히 수학적으로 동치이다.
• 각 WTA 뉴런의 활동률은 해당 변수 상태의 근사 확률에 비례하며, 선형 매핑을 통해 확률 공간에 매칭된다(예: 50 Hz = 1.0).
• WTA 네트워크는 체인, 단일 고리, 완전 연결 위상을 가진 MRF에서 믿음 전파 및 평균장 근사와 유사한 추론 정확도를 달성한다.
• 완전 연결 그래프에서는 WTA 추론이 평균장 근사보다 더 과신한 근사 확률을 생성하지 않으며, 믿음 전파 결과와 더 잘 일치함을 보여줌.
• WTA 활동률과 믿음 전파 근사 확률 간 상대 오차는 시간이 지남에 따라 감소하며, 정확한 추론으로 수렴하는 것으로 나타남.
• 이론적 분석과 시뮬레이션 결과는 상호연결된 WTA 회로가 임의의 확률적 그래픽 모델에서 공동분포를 표현하고 추론할 수 있음을 확인함.