[논문 리뷰] Predictive Coding Approximates Backprop along Arbitrary Computation Graphs

Beren Millidge, Alexander Tschantz외 1명|arXiv (Cornell University)|2020. 06. 07.

Advanced Memory and Neural ComputingEngineering인용 수 17

한 줄 요약

이 논문은 지역적이고 헤브시안 플라스티시티에 기반한 생물학적으로 타당한 학습 프레임워크인 예측 코딩이 임의의 계산 그래프를 통해 역전파를 점점 더 잘 근사함을 보여준다. 예측 코딩 네트워크가 CNN, RNN, LSTM과 같은 복잡한 모델을 역전파와 동등한 성능으로 훈련시킬 수 있음을 보여주며, 표준 딥러닝 아키텍처의 생물학적으로 타당한 구현을 가능하게 한다.

ABSTRACT

Backpropagation of error (backprop) is a powerful algorithm for training machine learning architectures through end-to-end differentiation. However, backprop is often criticised for lacking biological plausibility. Recently, it has been shown that backprop in multilayer-perceptrons (MLPs) can be approximated using predictive coding, a biologically-plausible process theory of cortical computation which relies only on local and Hebbian updates. The power of backprop, however, lies not in its instantiation in MLPs, but rather in the concept of automatic differentiation which allows for the optimisation of any differentiable program expressed as a computation graph. Here, we demonstrate that predictive coding converges asymptotically (and in practice rapidly) to exact backprop gradients on arbitrary computation graphs using only local learning rules. We apply this result to develop a straightforward strategy to translate core machine learning architectures into their predictive coding equivalents. We construct predictive coding CNNs, RNNs, and the more complex LSTMs, which include a non-layer-like branching internal graph structure and multiplicative interactions. Our models perform equivalently to backprop on challenging machine learning benchmarks, while utilising only local and (mostly) Hebbian plasticity. Our method raises the potential that standard machine learning algorithms could in principle be directly implemented in neural circuitry, and may also contribute to the development of completely distributed neuromorphic architectures.

연구 동기 및 목표

• 딥러닝에서 강력한 최적화 능력을 지닌 역전파와 생물학적으로 타당한 학습 간 격차를 메우기 위해.
• 예측 코딩이 다층 퍼셉트론 외에도 임의의 계산 그래프를 통해 자동 미분을 근사할 수 있음을 보여주기 위해.
• 오직 국소적 연결성과 헤브시안 플라스티시티를 사용하여 표준 기계학습 아키텍처를 예측 코딩 등가물로 체계적으로 변환하는 방법을 개발하기 위해.
• 예측 코딩 네트워크가 실제 벤치마크에서 표준 역전파 훈련과 비교해 유사한 성능을 내면서도 생물학적 타당성을 유지함을 검증하기 위해.

제안 방법

• 저자는 변분 추론과 자유 에너지 최소화를 사용하여 예측 코딩을 계산 그래프 위의 생성 모델 최적화로 프레임워크화한다.
• 잠재 변수의 평균과 분산에 대한 변분 업데이트 규칙을 유도하며, 분산은 최적화를 단순화하는 닫힌 형태의 해를 가진다.
• 시스템의 동역학은 자유 에너지에 대한 경사 하강법으로 모델링되며, 각 노드의 업데이트 규칙은 오직 국소적 예측 오차와 국소 도함수에만 의존한다.
• 고정점 방정식을 유도하여, 시스템이 한계에서 역전파 기울기와 동일한 해로 수렴함을 보여준다.
• 이 방법을 사용하여 CNN, RNN, LSTM의 예측 코딩 등가물을 구성한다. 이는 곱셈 상호작용과 층 구조가 아닌 복잡한 내부 분기 구조를 가진 모델도 포함된다.
• 이 접근법은 오직 국소적 연결성과 헤브시안 유사 학습 규칙을 사용하며, 가중치 공유나 비국소적 오차 전파가 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 예측 코딩은 다층 퍼셉트론 외에도 임의의 계산 그래프에서 역전파를 근사할 수 있는가?
• RQ2 예측 코딩 네트워크의 학습 규칙이 엄밀히 국소적이고 헤브시안일 수 있으며, 여전히 역전파와 동등한 기울기를 도출할 수 있는가?
• RQ3 예측 코딩을 사용하여 LSTMs와 CNN과 같은 복잡한 아키텍처를 표준 역전파 훈련 수준의 성능으로 훈련시킬 수 있는가?
• RQ4 일반적인 계산 그래프에서 예측 코딩과 자동 미분 간에 엄밀한 수학적 동치성이 존재하는가?
• RQ5 이 프레임워크는 생성 모델 내에서 학습 가능한 정밀도를 통해 불확실성 인식 학습을 지원할 수 있는가?

주요 결과

• 예측 코딩은 오직 국소적이고 헤브시안 학습 규칙만을 사용하여 임의의 계산 그래프에서 정확한 역전파 기울기로 점점 더 수렴한다.
• 이 방법은 곱셈 상호작용과 복잡한 내부 분기 구조를 가진 모델을 포함하여 CNN, RNN, LSTM의 예측 코딩 등가물을 성공적으로 구성한다.
• 예측 코딩 모델은 도전적인 기계학습 벤치마크에서 표준 역전파 훈련된 모델과 유사한 성능을 달성한다.
• 유도 과정에서 최적의 변분 분산이 닫힌 형태의 해를 가지며, 이는 최적화 과정을 단순화하고 평균 업데이트에 집중할 수 있도록 한다.
• 자유 에너지 최소화 과정에서 유도된 고정점 방정식은 한계에서 정확히 역전파 업데이트 규칙을 복원하며, 수학적 동치성을 확인한다.
• 프레임워크는 학습 가능한 정밀도를 통해 불확실성 인식 학습을 지원하며, 훈련 중 예측 불확실성에 대한 주의를 기울일 수 있는 형태를 제공한다.