[논문 리뷰] A Theoretical Framework for Inference and Learning in Predictive Coding Networks

Beren Millidge, Yuhang Song외 3명|arXiv (Cornell University)|2022. 07. 21.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 후행적 구성으로 훈련된 예측 코드 네트워크(PCNs)의 이론적 기반을 수립하여, 추론 단계가 목표 전파(TP)와 분석적으로 연결된 해법으로 수렴하며, 학습 단계가 제약 조건이 있는 일반화된 기대최대화(EM) 알고리즘을 구현해 백프로파게이션 손실 함수의 임계점으로 수렴함을 보여주며, 표준 설정에서 백프로파게이션을 근사하지 않음에도 불구하고 온라인, 소수 샘플, 지속적 학습에서 뛰어난 성능을 보이는 데 이론적 근거를 제공한다.

ABSTRACT

Predictive coding (PC) is an influential theory in computational neuroscience, which argues that the cortex forms unsupervised world models by implementing a hierarchical process of prediction error minimization. PC networks (PCNs) are trained in two phases. First, neural activities are updated to optimize the network's response to external stimuli. Second, synaptic weights are updated to consolidate this change in activity -- an algorithm called \emph{prospective configuration}. While previous work has shown how in various limits, PCNs can be found to approximate backpropagation (BP), recent work has demonstrated that PCNs operating in this standard regime, which does not approximate BP, nevertheless obtain competitive training and generalization performance to BP-trained networks while outperforming them on tasks such as online, few-shot, and continual learning, where brains are known to excel. Despite this promising empirical performance, little is understood theoretically about the properties and dynamics of PCNs in this regime. In this paper, we provide a comprehensive theoretical analysis of the properties of PCNs trained with prospective configuration. We first derive analytical results concerning the inference equilibrium for PCNs and a previously unknown close connection relationship to target propagation (TP). Secondly, we provide a theoretical analysis of learning in PCNs as a variant of generalized expectation-maximization and use that to prove the convergence of PCNs to critical points of the BP loss function, thus showing that deep PCNs can, in theory, achieve the same generalization performance as BP, while maintaining their unique advantages.

연구 동기 및 목표

• 후행적 구성으로 훈련된 예측 코드 네트워크(PCNs)의 추론 및 학습 역학을 이론적으로 이해하기 위해, 표준 설정에서 백프로파게이션을 근사하지 않는다는 점을 고려한다.
• PCN 추론과 목표 전파(TP) 사이의 공식적 연결을 수립하여, 추론 평형 상태가 피드포워드 활성화와 TP 목표의 가중 평균임을 보여준다.
• PCN 학습을 제약 조건이 있는 일반화된 기대최대화(EM)의 변종으로 해석하여, 학습 역학의 체계적인 이론적 기반을 제공한다.
• PCNs가 표준 백프로파게이션 손실 함수의 임계점으로 수렴함을 증명하여, 비-BP 학습 역학에도 불구하고 뛰어난 일반화 성능을 설명한다.
• 잔차 오차 항을 신경 활성도의 편차에 대한 가우시안 사전분포로 해석하여, 보다 체계적인 일반화를 위해 다른 사전분포로의 확장 가능성을 제안한다.

제안 방법

• 선형 PCNs의 추론 평형 상태에 대한 분석적 표현을 유도하여, 피드포워드 활성화와 목표 전파 목표 사이의 균형이 피드백 및 피드포워드 정밀도의 비율에 의해 제어됨을 보여준다.
• 고정점 반복을 사용하여 비선형 PCNs로 분석을 확장하여, 닫힌 형태의 해가 없더라도 동일한 평형 직관이 유지됨을 입증한다.
• 학습 단계를 제약 조건이 있는 일반화된 기대최대화(EM) 알고리즘으로 재구성하여, E단계가 예측 코드 추론 과정에 의해 제한됨을 강조한다.
• 추론 목표의 구조와 EM 해석을 활용하여, PCN 학습 알고리즘이 표준 백프로파게이션 손실 함수의 임계점으로 수렴함을 증명한다.
• 예측 코드 목표에서 잔차 오차 항을 신경 활성도의 편차에 대한 베이지안 사전분포로 해석하며, 특히 하층 예측값 중심의 가우시안 사전분포로 간주한다.
• 데이터에 특화된 사전분포(예: 로그노멀 분포)로 현재의 가우시안 사전분포를 대체하여 PCNs의 일반화를 제안하며, 이는 구조적 데이터 분포에 대해 더 높은 인덕티브 바이어스와 효율성을 제공할 수 있다.

실험 결과

연구 질문

• RQ1 선형 아키텍처에서 예측 코드 네트워크의 추론 평형 상태는 목표 전파(TP)와 어떻게 관련이 있는가?
• RQ2 후행적 구성으로 훈련된 PCNs의 학습 역학은 어떤 이론적 기반을 지니며, 백프로파게이션과 비교해 볼 때 어떠한 특징을 갖는가?
• RQ3 PCN 학습 과정은 공식적으로 일반화된 기대최대화(EM)의 변종으로 해석될 수 있으며, 만약 그렇다면 그 수렴 성질은 어떠한가?
• RQ4 예측 코드 목표에서 잔차 오차 항의 역할은 무엇이며, 베이지안 프레임워크 내에서 어떻게 해석할 수 있는가?
• RQ5 현재의 가우시안 가정을 초월해 다른 사전분포를 지원할 수 있는 이론적 프레임워크를 확장할 수 있는가? 이를 통해 특정 데이터 유형에 대한 인덕티브 바이어스를 향상시킬 수 있는가?

주요 결과

• 선형 PCNs에서 추론 평형 상태는 피드포워드 활성화와 목표 전파 목표의 수학적 등가인 가중 평균이며, 가중치는 피드백 대 피드포워드 정밀도의 비율에 의해 결정된다.
• 비선형 PCNs에서는 닫힌 형태의 해가 없더라도 평형 상태의 직관적 구조가 선형 케이스와 동일하게 유지되며, 고정점 반복 시뮬레이션을 통해 확인된다.
• 후행적 구성으로 훈련된 PCNs의 학습 단계는 제약 조건이 있는 일반화된 기대최대화(EM) 알고리즘으로 공식적으로 해석될 수 있으며, 이는 백프로파게이션 손실 함수의 임계점으로의 수렴을 보장한다.
• 예측 코드 목표에서의 잔차 오차 항은 하층 예측값에서의 신경 활성도 편차에 대한 가우시안 사전분포에 해당하며, 체계적인 베이지안 해석을 제공한다.
• 이론적 프레임워크는 현재의 가우시안 사전분포를 데이터에 특화된 사전분포(예: 로그노말 또는 힘의 법칙 분포)로 대체함으로써 PCNs의 일반화를 지원하며, 이는 구조적 데이터에 대해 더 높은 인덕티브 바이어스와 추론 효율성을 향상시킬 수 있다.
• MNIST 및 Fashion-MNIST에 대한 실험 결과는 후행적 구성으로 훈련된 PCNs가 백프로파게이션과 유사한 성능을 보이며, 온라인, 소수 샘플, 지속적 학습 시나리오에서 뛰어난 성능을 보였으며, 이는 백프로파게이션 손실의 임계점으로 수렴하는 이론적 결과와 일치한다.