[논문 리뷰] Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation?

Beren Millidge, Tommaso Salvatori외 3명|arXiv (Cornell University)|2022. 02. 18.

Functional Brain Connectivity Studies인용 수 7

한 줄 요약

이 논문은 깊이 있는 학습에서 역전파의 생물학적으로 타당한 대안으로 예측 코딩(예측 코딩, PC)을 제안하며, 국소적이고 오차 기반 업데이트를 활용하여 임의의 그래프 구조에서 스케일링 가능하고 병렬 처리가 가능한 학습을 가능하게 한다. 실험 결과, PC 네트워크는 분류 과제에서 역전파 성능을 따라잡는가 하면, 생성 모델, 연상 기억장치, 병행 추론-제어 시스템 등 다양한 응용 분야에서 훨씬 뛰어난 유연성을 제공함을 보여주었다.

ABSTRACT

The backpropagation of error algorithm used to train deep neural networks has been fundamental to the successes of deep learning. However, it requires sequential backward updates and non-local computations, which make it challenging to parallelize at scale and is unlike how learning works in the brain. Neuroscience-inspired learning algorithms, however, such as \emph{predictive coding}, which utilize local learning, have the potential to overcome these limitations and advance beyond current deep learning technologies. While predictive coding originated in theoretical neuroscience as a model of information processing in the cortex, recent work has developed the idea into a general-purpose algorithm able to train neural networks using only local computations. In this survey, we review works that have contributed to this perspective and demonstrate the close theoretical connections between predictive coding and backpropagation, as well as works that highlight the multiple advantages of using predictive coding models over backpropagation-trained neural networks. Specifically, we show the substantially greater flexibility of predictive coding networks against equivalent deep neural networks, which can function as classifiers, generators, and associative memories simultaneously, and can be defined on arbitrary graph topologies. Finally, we review direct benchmarks of predictive coding networks on machine learning classification tasks, as well as its close connections to control theory and applications in robotics.

연구 동기 및 목표

• 국소적이고 생물학적으로 타당한 학습 규칙을 활용하여 예측 코딩(PC)이 깊이 있는 학습에서 역전파의 실현 가능한 대안이 될 수 있는지 조사하기 위해.
• PC와 역전파 사이의 이론적 연관성을 수립하여, 특정 조건 하에서 PC의 파arameter 업데이트가 수학적으로 역전파와 동치임을 보여주기 위해.
• 예측 코딩 네트워크(PCN)의 뛰어난 유연성을 입증하기 위해, 임의의 그래프 구조에서 동시에 분류기, 생성기, 연상 기억장치로 기능할 수 있음을 보여주기 위해.
• 대규모 기계 학습 벤치마크에서 PCN을 평가하고, 동일한 아키텍처를 갖춘 역전파 기반 네트워크와의 성능을 비교하기 위해.
• 로봇 공학 및 제어 분야에서 PCN의 잠재력을 탐색하기 위해, 활동적 추론 및 제어-추론 프레임워크와 연계하기 위해.

제안 방법

• 가우시안 생성 모델 하에서 자유 에너지 원리의 특수한 경우로 예측 코딩 네트워크(PCN)를 유도하여 변분 추론과 학습을 가능하게 하였다.
• 층 간 전달되는 예측 오차 기반 국소적 시냅스 업데이트를 사용하여, 가중치 행렬을 거쳐 비국소적인 역전파가 필요 없도록 하였다.
• 계층적 아키텍처에서 오차 기반 학습을 통해 이미지 분류 과제에 PCN을 학습시키며, 추론과 학습이 동시에 발생하도록 하였다.
• 추론이 변분 자유 에너지를 최소화하는 방식으로 모델링된 확률적 그래픽 모델로 PCN을 표현하여, 활동적 추론을 통한 동시 상태 추정 및 제어를 가능하게 하였다.
• 행동 노드를 원하는 결과에 조건화함으로써 통합된 프레임워크를 도입하여, 로봇 시스템에서 제어-추론을 실현하였다.
• 표준 기계 학습 데이터셋에서 직접 벤치마크를 수행하여, 동일한 아키텍처 조건 하에서 PCN의 성능을 표준 역전파 네트워크와 비교하였다.

실험 결과

연구 질문

• RQ1 예측 코딩 네트워크의 가중치 업데이트 규칙은 역전파 기반 인공 신경망의 그것과 어떻게 관련이 있는가?
• RQ2 예측 코딩 네트워크는 표준 기계 학습 벤치마크에서 역전파 기반 네트워크와 비교해 유사한 성능을 달성할 수 있는가?
• RQ3 예측 코딩은 임의의 그래프 구조나 다중 추론 작업을 처리하는 데 있어 아키텍처의 탄력성 측면에서 어떤 이점을 제공하는가?
• RQ4 PC 업데이트의 국소성은 역전파에 비해 더 높은 병렬 처리 가능성과 뉴모르픽 하드웨어에 대한 적합성 향상에 어떻게 기여하는가?
• RQ5 결측 데이터, 생성 모델링, 또는 병행 추론-제어 작업을 포함한 특정 상황에서 예측 코딩이 역전파를 초월하는가?

주요 결과

• 예측 코딩 네트워크는 국소적이고 오차 기반 업데이트만을 사용함에도 불구하고, 표준 벤치마크에서 분류 성능이 역전파 기반 네트워크와 유사함을 입증하였다.
• PCN은 동일한 아키텍처 내에서 동시에 분류기, 생성기, 연상 기억장치로 기능할 수 있으며, 이는 기존의 인공 신경망이 각 작업을 별도로 학습해야 하는 것과 대비된다.
• 특정 조건, 예를 들어 가우시안 생성 모델과 선형화된 추론 하에서 PC와 역전파 간의 수학적 동치성이 성립함을 입증하여 강력한 이론적 연결을 확립하였다.
• 결측 데이터 처리에서 PCN은 부자연스러운 보간 전략이 필요 없는 자연스러운 추론을 수행할 수 있어, 기존 ANN이 히우리스틱 보간 전략이 필요한 것과 대비된다.
• PCN의 가중치 업데이트 국소성 덕분에 더 높은 병렬 처리 가능성과 낮은 통신 오버헤드를 확보하여, 뉴모르픽 하드웨어에서의 대규모 학습에 더 적합함을 입증하였다.
• 활동적 추론 원리를 활용하여 제어를 추론으로 해석함으로써, 드론 및 퀴드코pter 제어를 포함한 로봇 공학 및 제어 과제에 성공적으로 적용하였다.