[논문 리뷰] Backpropagation at the Infinitesimal Inference Limit of Energy-Based Models: Unifying Predictive Coding, Equilibrium Propagation, and Contrastive Hebbian Learning

Beren Millidge, Yuhang Song외 3명|arXiv (Cornell University)|2022. 05. 31.

Advanced Memory and Neural Computing인용 수 6

한 줄 요약

이 논문은 에너지 기반 모델(EBMs)의 일반 원리로 예측 코딩, 평형 전파, 대비 허브시안 학습을 특수한 경우로 통합한다: 무한소 추론 한계에서, 자유상태와 고정상태의 평형 상태 간의 차이가 역전파 기울기의 근사값이 된다. 핵심 기여는 이러한 기울기 근사가 EBMs의 보편적인 수학적 성질에서 유래됨을 보여주는 이론적 프레임워크를 제시한 것이다. 이를 통해 생물학적으로 타당한 새로운 학습 알고리즘을 유도할 수 있다.

ABSTRACT

How the brain performs credit assignment is a fundamental unsolved problem in neuroscience. Many `biologically plausible' algorithms have been proposed, which compute gradients that approximate those computed by backpropagation (BP), and which operate in ways that more closely satisfy the constraints imposed by neural circuitry. Many such algorithms utilize the framework of energy-based models (EBMs), in which all free variables in the model are optimized to minimize a global energy function. However, in the literature, these algorithms exist in isolation and no unified theory exists linking them together. Here, we provide a comprehensive theory of the conditions under which EBMs can approximate BP, which lets us unify many of the BP approximation results in the literature (namely, predictive coding, equilibrium propagation, and contrastive Hebbian learning) and demonstrate that their approximation to BP arises from a simple and general mathematical property of EBMs at free-phase equilibrium. This property can then be exploited in different ways with different energy functions, and these specific choices yield a family of BP-approximating algorithms, which both includes the known results in the literature and can be used to derive new ones.

연구 동기 및 목표

• 예측 코딩, 평형 전파, 대비 허브시안 학습이라는 서로 다른 생물학적으로 타당한 학습 알고리즘들을 단일 이론적 프레임워크로 통합하는 것.
• EBMs가 이러한 알고리즘들이 역전파를 근사할 수 있도록 하는 기본적인 수학적 성질을 규명하는 것.
• 무한소 추론 한계에서 평형 상태에서의 신경 동역학의 방향이 역전파 근사가 유도되는 이유를 설명하는 것.
• 기존 문헌을 초월하여 새로운 BP 근사 학습 규칙을 도출하기 위해 프레임워크를 일반화하는 것.

제안 방법

• 감독 손실과 내부 네트워크 동역학을 별도로 분리한 에너지 기반 모델(EBMs)을 수식적으로 정의한다.
• 자유상태(제약 없음)와 고정상태(타깃 제약 있음) 조건 하에서 EBM의 평형 상태를 분석한다.
• 고정상태 평형 주변에서 타일러 전개를 적용하여 무한소 추론 한계를 유도하며, 이 경우 자유상태와 고정상태 평형 간의 거리가 역전파 기울기의 근사값이 된다.
• 세 가지 기존 알고리즘을 특수한 경우로 도출한다: (1) 약한 피드백을 통한 PC-Nudge, (2) 손실 스케일링을 통한 EP, (3) 대비 손실을 통한 CHL.
• 기울기 근사 오차가 자유상태와 고정상태 평형 간 거리에 비례하여 선형적으로 증가함을 보여준다.
• 다양한 에너지 함수를 선택함으로써 새로운 BP 근사 학습 규칙을 구성할 수 있는 일반적인 알고리즘 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 예측 코딩, 평형 전파, 대비 허브시안 학습이 에너지 기반 모델에서 역전파를 근사할 수 있는 공통된 수학적 원리는 무엇인가?
• RQ2 고정상태 평형이 자유상태 평형에 수렴하는 무한소 추론 한계에서 EBMs에서 기울기 근사가 어떻게 가능해지는가?
• RQ3 평형 상태에서의 신경 동역학과 감독 손실 기울기 간의 관계는 기존 알고리즘을 초월하여 일반화될 수 있는가?
• RQ4 자유상태와 고정상태 평형 간의 차이가 진짜 역전파 기울기를 근사하기 위해 충족해야 할 조건은 무엇인가?
• RQ5 새로운 생물학적으로 타당한 학습 알고리즘은 어떻게 EBM 프레임워크에서系통적으로 유도될 수 있는가?

주요 결과

• 에너지 기반 모델의 자유상태 평형에서의 신경 동역학 방향은 감독 손실 함수의 기울기와 정확히 일치하며, 이를 통해 내재된 기울기 신호를 제공한다.
• 무한소 추론 한계에서, 자유상태 평형에서 고정상태 평형으로 향하는 벡터는 역전파 기울기의 근사값이 되며, 근사 오차는 평형 간 거리에 비례하여 선형적으로 증가한다.
• 약한 피드백을 통한 예측 코딩, 평형 전파, 대비 허브시안 학습은 모두 이 일반 프레임워크의 특수한 경우이며, 에너지 함수의 구성 방식에 따라 다를 뿐이다.
• 이 프레임워크에서 도출된 PC-Nudge 알고리즘은 초기화 시점의 EBM 내재 동역학만으로도 정확한 역전파를 달성한다.
• 이론적 분석은 고정상태 평형 주변에서의 타일러 전개에 기반하며, 향후 작업에서 더 고급 근사 기법을 활용해 오차 한계를 향상시킬 수 있다.