[논문 리뷰] Inference by Reparameterization in Neural Population Codes

Rajkumar Vasudeva Raju, Xaq Pitkow|arXiv (Cornell University)|2016. 05. 20.

Bayesian Modeling and Causal Inference참고 문헌 25인용 수 20

한 줄 요약

이 논문은 다변량 그래픽 모델에서 근사 베이지안 추론을 수행하기 위해 확률적 인구 코드(PPCs)와 트리 기반 재매개변수화(TRP)를 사용하는 생물학적으로 타당한 신경망 모델을 제안한다. 빠른 및 느린 시간스케일을 가진 비선형 동적 시스템에 TRP 업데이트를 통합함으로써, 명시적 메시지 전달 없이 분산형, 순환형 추론을 가능하게 하여, 루프가 있는 신뢰도 추론(LBP) 수준의 추론 정확도를 달성하면서도 생물학적 타당성과 노이즈에 대한 강건성을 유지한다.

ABSTRACT

Behavioral experiments on humans and animals suggest that the brain performs probabilistic inference to interpret its environment. Here we present a new general-purpose, biologically-plausible neural implementation of approximate inference. The neural network represents uncertainty using Probabilistic Population Codes (PPCs), which are distributed neural representations that naturally encode probability distributions, and support marginalization and evidence integration in a biologically-plausible manner. By connecting multiple PPCs together as a probabilistic graphical model, we represent multivariate probability distributions. Approximate inference in graphical models can be accomplished by message-passing algorithms that disseminate local information throughout the graph. An attractive and often accurate example of such an algorithm is Loopy Belief Propagation (LBP), which uses local marginalization and evidence integration operations to perform approximate inference efficiently even for complex models. Unfortunately, a subtle feature of LBP renders it neurally implausible. However, LBP can be elegantly reformulated as a sequence of Tree-based Reparameterizations (TRP) of the graphical model. We re-express the TRP updates as a nonlinear dynamical system with both fast and slow timescales, and show that this produces a neurally plausible solution. By combining all of these ideas, we show that a network of PPCs can represent multivariate probability distributions and implement the TRP updates to perform probabilistic inference. Simulations with Gaussian graphical models demonstrate that the neural network inference quality is comparable to the direct evaluation of LBP and robust to noise, and thus provides a promising mechanism for general probabilistic inference in the population codes of the brain.

연구 동기 및 목표

• 대규모 다변량 모델에서 근사 베이지안 추론을 생물학적으로 타당한 방식으로 구현하는 것.
• 특히 별도의 메시지 전달 메커니즘에 의존하는 루프가 있는 신뢰도 추론(LBP)의 신경 기반 비타당성 문제를 해결하는 것.
• 확률적 인구 코드(PPCs)를 재매개변수화 기반 추론과 통합하여 신경 회로에서 분산형, 순환형 계산을 가능하게 하는 것.
• 순환 신경망 기반의 PPC들이 이원 시간스케일 동적 시스템을 통해 정확한 주변 확률 추정과 증거 통합을 수행할 수 있음을 보여주는 것.

제안 방법

• 후행 분포의 자연 매개변수를 인코딩하는 인구 활동을 사용하여 확률 분포를 표현한다.
• 다양한 PPC들을 연결하여 다변량 그래픽 모델을 구성함으로써 상호작용하는 다수의 변수에 대한 결합 분포를 표현한다.
• 루프가 있는 신뢰도 추론(LBP)을 트리 기반 재매개변수화(TRP)로 재구성하여 신경망 구현에 더 적합한 형태로 전환한다.
• 증거 과중 계산을 방지하기 위해 빠른(로컬 업데이트) 및 느린(글로벌 재가중) 시간스케일을 가진 비선형 동적 시스템으로 TRP 업데이트를 구현한다.
• 유전적 정규화와 이차 비선형성을 사용하여 PPC 프레임워크 내에서 메시지 전달 연산을 생물학적으로 타당한 방식으로 실행한다.
• 다중 변수에 걸쳐 통계 정보를 인코딩하기 위해 복합 신경 활동 패턴을 사용하여 전용 메시지 채널 없이도 분산형 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 PPC 기반 순환 신경망이 생물학적으로 타당한 방식으로 근사 베이지안 추론을 수행할 수 있는가?
• RQ2 재매개변수화를 통해 루프가 있는 신뢰도 추론의 신경 기반 비타당성 문제를 어떻게 해결할 수 있는가?
• RQ3 다양한 시간스케일이 루프가 있는 그래픽 모델에서 증거 과중 계산을 방지하는 데 어떤 역할을 하는가?
• RQ4 분산형 인구 코드는 전용 메시지 전달 없이도 다수의 변수에 걸쳐 정확한 주변 확률 추정을 지원할 수 있는가?
• RQ5 노이즈는 PPC 기반 추론 네트워크의 성능에 어떤 영향을 미치며, 실제 신경 변동성에 대해 강건한가?

주요 결과

• 시공간적 노이즈가 존재하는 상황에서도 직접 LBP 계산을 통해 확보한 기준값과 유사한 주변 확률을 신경망이 정확하게 추정한다.
• 모델은 노이즈에 강건하며, 매개변수당 뉴런 수가 증가할수록 성능이 향상되어 확장성과 신뢰성을 입증한다.
• 이원 시간스케일 동적 시스템은 특히 길이 2인 루프에서 증거 과중 계산을 효과적으로 방지하며, 과거 정보를 할인할 수 있는 기억 기능을 제공한다.
• 네트워크는 메시지의 별도 신경 표현 없이 인구 활동만으로 현장에서 추론을 수행하여 생물학적 타당성을 향상시킨다.
• 이차 비선형성을 가진 유전적 정규화를 사용함으로써 고품질의 주변 확률 추정이 가능하며, 기존 신경계 계산 메커니즘과도 일치한다.
• 결과적으로 PPC 매개변수에 대한 다양한 비선형 변환은 평균장 또는 일반화된 신뢰도 추론과 같은 다양한 근사 추론 알고리즘을 구현할 수 있음을 시사한다.