[논문 리뷰] Predictive Coding: a Theoretical and Experimental Review

Beren Millidge, Anil K. Seth외 1명|arXiv (Cornell University)|2021. 07. 27.

Neural dynamics and brain function참고 문헌 164인용 수 26

한 줄 요약

이 논문은 predictive coding을 Bayesian variational inference framework로서 조망하고, 그것의 수학적 구조, 신경 구현, 그리고 머신 러닝 및 제어 이론과의 연결을 검토한다.

ABSTRACT

Predictive coding offers a potentially unifying account of cortical function -- postulating that the core function of the brain is to minimize prediction errors with respect to a generative model of the world. The theory is closely related to the Bayesian brain framework and, over the last two decades, has gained substantial influence in the fields of theoretical and cognitive neuroscience. A large body of research has arisen based on both empirically testing improved and extended theoretical and mathematical models of predictive coding, as well as in evaluating their potential biological plausibility for implementation in the brain and the concrete neurophysiological and psychological predictions made by the theory. Despite this enduring popularity, however, no comprehensive review of predictive coding theory, and especially of recent developments in this field, exists. Here, we provide a comprehensive review both of the core mathematical structure and logic of predictive coding, thus complementing recent tutorials in the literature. We also review a wide range of classic and recent work within the framework, ranging from the neurobiologically realistic microcircuits that could implement predictive coding, to the close relationship between predictive coding and the widely-used backpropagation of error algorithm, as well as surveying the close relationships between predictive coding and modern machine learning techniques.

연구 동기 및 목표

• 확률적(variational) 프레임워크 내에서 predictive coding의 핵심 수학적 구조와 논리를 요약한다.
• 신경생물학적 타당성과 제안된 피질 미세회로(microcircuit) 구현을 조사한다.
• backpropagation 및 normalizing flows를 포함한 머신 러닝 방법과 predictive coding의 연결을 검토한다.
• 다이나믹스, 정밀도(precision), 행동/액티브 인퍼런스의 확장을 탐구한다.

제안 방법

• Predictive coding을 Gaussian 생성 모델과 함께 variational inference로 프레이밍한다.
• Variational free energy에서 predictive coding 업데이트 규칙을 도출한다. Prediction errors의 정의와 상태 및 매개변수 업데이트에서의 역할을 정의한다.
• 생성 모델과 후방 분포를 함께 학습하기 위한 EM-like 교대 최적화를 논의한다.
• predictive coding을 Kalman filtering과 backpropagation 같은 고전 알고리즘 및 active inference와 연결한다.

실험 결과

연구 질문

• RQ1 Predictive coding을 근사적 Bayesian/추론 과정으로 어떻게 형식화할 수 있는가?
• RQ2 계층적 구조에서 predictive coding이 예측 오차를 최소화하는 수학적 메커니즘은 무엇인가?
• RQ3 생물학적으로 타당한 신경 미세회로에 predictive coding을 어떻게 구현할 수 있는가?
• RQ4 Predictive coding과 backpropagation 및 normalizing flows와 같은 확립된 머신 러닝 방법 사이의 관계는 무엇인가?
• RQ5 다이나믹스, 정밀도, 그리고 행동은 predictive coding 프레임워크에 어떻게 통합되는가? (활동적 추론 포함)

주요 결과

• Predictive coding은 자유 에너지 bound를 최소화하는 변분 추론으로 재구성될 수 있다.
• 에너지 항은 가중된 예측 오차의 합으로 환원되어 지각과 학습을 연결한다.
• 경사하강 업데이트는 계층적 모델에서 상태 및 매개변수 학습을 위한 구체적인 규칙을 도출한다.
• 프레임워크는 특정 가정 하에서 Kalman filtering 및 backpropagation 같은 확립된 알고리즘과의 연계가 가능하다.
• 다이나믹스, 정밀도, 및 행동에 대한 확장은 predictive coding을 active inference 및 제어 이론과 연결한다.