[논문 리뷰] Natural selection finds natural gradient

Lancelot Da Costa, Thomas Parr외 2명|arXiv (Cornell University)|2020. 01. 22.

Neural dynamics and brain function참고 문헌 85인용 수 9

한 줄 요약

이 논문은 뇌의 능동적 추론이 정보 기하학에서 계산적으로 최적의 최적화 방법인 자연 경사 하강법을 근사한다며 제안한다. 자유 에너지 최소화에 기반한 신경 가닥 역학이 자연 경사 하강 업데이트와 일치함을 보여줌으로써, 진화가 정보 공간 내 효율적인 믿음 갱신을 암묵적으로 수행하는 신경 메커니즘을 선택해왔을 가능성을 입증한다.

ABSTRACT

Active inference provides a biologically plausible process theory of brain function. It specifies neuronal dynamics for state-estimation in terms of a gradient descent on (variational) free energy -- a measure of the fit between an internal (generative) model and sensory observations. When formulated for discrete state-space generative models, the free energy gradient turns out to be a prediction error -- plausibly encoded in the average membrane potentials of neuronal populations. Conversely, the expected probability of a state can then be expressed in terms of firing rates. We establish a construct validity to this scheme -- by showing that it is consistent with current models of neuronal dynamics -- and face validity, as it is able to synthesize a wide range of biologically plausible electrophysiological responses. We then show that these neuronal dynamics approximate natural gradient descent, a well-known optimisation algorithm from information geometry that prescribes locally optimal belief updates. Lastly, numerical simulations suggest that both schemes perform equally well on average. The performance of belief updating is scored in terms of information length, a measure of the distance traveled in information space, which has a direct interpretation in terms of metabolic efficiency. These results show that active inference is consistent with state-of-the-art models of neuronal dynamics and coincides with the natural gradient. This suggests that natural selection, by selecting the phenotypes that optimise metabolic and computational efficiency, has implicitly approximated the steepest direction in information space; namely, natural gradient descent.

연구 동기 및 목표

• 능동적 추론과 정보 기하학에서의 자연 경사 하강법 간에 생물학적으로 타당한 연결 고리를 확립하기 위해.
• 자유 에너지 최소화에 기반한 신경 가닥 역학이 알려진 뉴런 활동 모델과 일치하는지 검증하기 위해.
• 능동적 추론이 정보 효율성 측면에서 자연 경사 하강법과 비슷한 성능을 보이는지 조사하기 위해.
• 이 일치가 뇌 기능의 진화적 최적화 이해에 미치는 함의를 탐색하기 위해.

제안 방법

• 이산 상태공간 생성 모델에서 변분 자유 에너지 최소화를 사용해 능동적 추론을 수립한다.
• 예측 오차를 평균 세포막 전위를 통해 표현하고, 믿음을 뉴런의 발화 빈도를 통해 표현한다.
• 자유 에너지 기울기를 유도하고, 이가 정보 기하학에서 자연 경사 하강법에 해당함을 보여준다.
• 정보 길이를 대사 비용의 대체 지표로 사용해, 능동적 추론과 자연 경사 하강법의 성능을 수치 시뮬레이션을 통해 비교한다.
• 정보 기하학을 적용하여 믿음 공간에서 이동한 거리를 정량화하고, 이를 대사 효율성과 연결한다.
• 기존 뉴런 가닥 역학과 일치함으로써 구조적 타당성을 확보하고, 전기생리학적 반응 패tern을 통해 외형적 타당성을 확보한다.

실험 결과

연구 질문

• RQ1 능동적 추론의 뉴런 가닥 역학은 정보 공간에서 자연 경사 하강법을 근사하는가?
• RQ2 정보 길이 및 대사 효율성 측면에서 능동적 추론의 성능는 자연 경사 하강법과 어떻게 비교되는가?
• RQ3 제안된 프레임워크는 생물학적으로 타당한 전기생리학적 반응을 재현할 수 있는가?
• RQ4 자연 경사 하강법과 뉴런 계산의 진화적 최적화 사이에 직접적인 연결 고리가 존재하는가?
• RQ5 자유 에너지 최소화는 정보 공간에서 가장 급격한 하강을 근사하는 데 어떤 역할을 하는가?

주요 결과

• 능동적 추론의 뉴런 가닥 역학은 현재의 뉴런 가닥 역학 모델과 일치하여 구조적 타당성을 확보한다.
• 이산 상태공간 모델에서의 자유 에너지 기울기는 예측 오차에 해당하며, 평균 세포막 전위에 의해 타당하게 표현될 수 있다.
• 능동적 추론의 믿음 갱신 메커니즘은 국소적으로 최적의 최적화 방법인 자연 경사 하강법을 근사한다.
• 수치 시뮬레이션 결과, 정보 길이 측면에서 능동적 추론과 자연 경사 하강법이 평균적으로 동일한 성능를 보였다.
• 자연 경사 하강법과의 일치는 자연 선택이 정보 공간에서 가장 급격한 하강을 암묵적으로 최적화해왔을 가능성을 시사한다.
• 결과는 뇌의 대사 효율성이 자연 경사 하강법을 근사하는 신경 메커니즘의 진화적 선택에서 기인할 수 있음을 암시한다.