[논문 리뷰] Relaxing the Constraints on Predictive Coding Models

Beren Millidge, Alexander Tschantz외 2명|arXiv (Cornell University)|2020. 10. 02.

Neural dynamics and brain function참고 문헌 49인용 수 14

한 줄 요약

이 논문은 예측 코딩 모델에서 생물학적으로 구현 불가능한 핵심 제약 조건—예를 들어, 가중치 연결, 역방향 비선형성, 일대일 오차 연결—을 유지하지 않아도 성능 저하 없이 완화될 수 있음을 보여준다. 이러한 제약 조건들을 학습 가능한 헤브의 규칙에 의한 업데이트 가중치로 대체하고 오차 동역학을 단순화함으로써, 저자들은 완전히 局소적이고 이분형 네트워크 아키텍처가 백프로파게이션을 근사하고 높은 학습 정확도를 달성할 수 있음을 보여주며, 생물학적으로 타당한 신경 회로 설계의 가능 공간을 크게 확장한다.

ABSTRACT

Predictive coding is an influential theory of cortical function which posits that the principal computation the brain performs, which underlies both perception and learning, is the minimization of prediction errors. While motivated by high-level notions of variational inference, detailed neurophysiological models of cortical microcircuits which can implements its computations have been developed. Moreover, under certain conditions, predictive coding has been shown to approximate the backpropagation of error algorithm, and thus provides a relatively biologically plausible credit-assignment mechanism for training deep networks. However, standard implementations of the algorithm still involve potentially neurally implausible features such as identical forward and backward weights, backward nonlinear derivatives, and 1-1 error unit connectivity. In this paper, we show that these features are not integral to the algorithm and can be removed either directly or through learning additional sets of parameters with Hebbian update rules without noticeable harm to learning performance. Our work thus relaxes current constraints on potential microcircuit designs and hopefully opens up new regions of the design-space for neuromorphic implementations of predictive coding.

연구 동기 및 목표

• 예측 코딩 모델의 장기적인 생물학적 비현실성, 예를 들어 가중치 연결 및 비국소적 오차 연결을 해결하기 위해.
• 대칭적인 역방향 가중치와 1:1 오차 단위 연결과 같은 핵심 가정이 완화될 경우 예측 코딩의 핵심 학습 성능이 유지되는지 조사하기 위해.
• 헤브의 학습 규칙이 예측 코딩 내에서 고정된 비현실적인 구성 요소를 대체할 수 있는지 탐색하기 위해.
• 학습 가능한 국소적 네트워크 아키텍처가 여전히 지도 및 비지도 학습 과제에서 높은 성능을 달성할 수 있는지 보여주기 위해.
• corti cal 마이크로회로 설계에 대한 제약을 줄임으로써 뉴모르픽 구현의 설계 공간을 확장하기 위해.

제안 방법

• 고정된 대칭적인 역방향 가중치를 학습 가능한 헤브의 규칙에 의한 업데이트 가중치로 대체하는 수정된 예측 코딩 프레임워크를 제안한다.
• 헤브의 규칙에 의해 학습되는 별도의 매개변수(예: 역방향 가중치 및 오차 연결)를 도입하여 가중치 이동이 필요 없도록 한다.
• 오차 단위와 값 단위 간의 일대일 연결 요구 조건을 제거하기 위해 희박하고 학습 가능한 오차 연결을 允허한다.
• 생물학적으로 비현실적인 도함수 기반 항목을 제거하고, 학습된 동역학을 통한 직접적인 오차 전파에 의존함으로써 역방향 비선형성을 단순화한다.
• 변분 추론 프레임워크를 사용하여 새로운 매개변수의 학습 규칙을 자유 에너지 목적 함수에 대한 경사 하강법으로 유도한다.
• 계층 간에 값 → 오차 및 오차 → 값 연결만을 가지며, 계층 내에서 직접적인 수평 또는 피드백 연결을 피하는 이분형 네트워크 구조를 사용한다.

실험 결과

연구 질문

• RQ1 대칭적인 역방향 가중치가 제거되고 학습 가능한 헤브의 규칙에 의한 업데이트 가중치로 대체될 경우 예측 코딩 모델이 높은 학습 성능을 유지할 수 있는가?
• RQ2 일대일 오차 단위 연결 제약 조건을 제거하면 예측 코딩 네트워크의 학습 성능이 떨어지는가?
• RQ3 역방향 비선형성을 안전하게 무시하거나 대체할 수 있는가, 특히 변분 추론의 맥락에서?
• RQ4 헤브의 학습을 사용하는 완전히 국소적 이분형 네트워크 아키텍처가 딥 네트워크에서 백프로파게이션을 어느 정도 근사할 수 있는가?
• RQ5 이러한 완화 조치가 생물학적으로 타당한 뉴모르픽 회로 설계에 어떤 영향을 미치는가?

주요 결과

• 대칭적인 역방향 가중치 제거 및 일대일 오차 연결 제약 조건의 제거가 학습 성능에 미치는 영향이 미미하며, 동일한 hyperbolic tangent 비선형성 하에서 정확도가 안정적으로 유지된다.
• 헤브의 규칙을 사용해 역방향 가중치 및 오차 연결을 학습함으로써 네트워크가 분류(판별적 및 생성적) 작업을 수행할 능력을 유지한다.
• 결과로 도출된 아키텍처는 완전히 국소적이며 비국소적 정보 흐름이 없어, 뉴모르픽 하드웨어 구현에 매우 적합하다.
• 국소적 연결성과 헤브의 학습만을 사용하여도 복잡한 입력-출력 매핑에서 높은 정확도를 달성함으로써, 이러한 메커니즘이 복잡한 표현 학습에 충분할 수 있음을 시사한다.
• 변분 자유 에너지 프레임워크는 새로운 매개변수에 대한 학습 규칙을 수학적으로 일관성 있게 도출할 수 있게 하여 이론적 탄탄함을 지원한다.
• 결과는 예측 코딩이 핵심 방정식에 대해 상당한 흐트림에도 불구하고 내재된 강력한 내재적 유연성과 탄력성을 지닌다는 것을 시사한다.