[논문 리뷰] A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks

Tommaso Salvatori, Yuhang Song외 7명|arXiv (Cornell University)|2022. 11. 16.

Advanced Data Compression Techniques인용 수 8

한 줄 요약

이 논문은 전통적인 이중 단계 가중치 업데이트 과정을 동기화된 점진적 업데이트 방식으로 대체하는 완전 자동화되고 안정적이며 빠른 예측 코드화 네트워크 학습 알고리즘인 점진적 예측 코드화(iPC)를 제안한다. iPC는 이론적 수렴 보장이 있는 점진적 기대값 최대화(iEM) 프레임워크에서 유도된 바, 이미지 분류 및 언어 모델링 벤치마크에서 표준 예측 코드화 및 백프로파게이션보다 뛰어난 수렴성, 다양한 초모수에 대한 강건성, 높은 테스트 정확도를 달성한다.

ABSTRACT

Predictive coding networks are neuroscience-inspired models with roots in both Bayesian statistics and neuroscience. Training such models, however, is quite inefficient and unstable. In this work, we show how by simply changing the temporal scheduling of the update rule for the synaptic weights leads to an algorithm that is much more efficient and stable than the original one, and has theoretical guarantees in terms of convergence. The proposed algorithm, that we call incremental predictive coding (iPC) is also more biologically plausible than the original one, as it it fully automatic. In an extensive set of experiments, we show that iPC constantly performs better than the original formulation on a large number of benchmarks for image classification, as well as for the training of both conditional and masked language models, in terms of test accuracy, efficiency, and convergence with respect to a large set of hyperparameters.

연구 동기 및 목표

• 기존 예측 코드화(PC) 학습 알고리즘의 불안정성, 비효율성, 초모수 민감성 문제를 해결하기 위해.
• 외부 제어 신호가 추론 단계와 가중치 업데이트 단계를 전환하는 데 필요 없이 생물학적으로 타당한 완전 자동화된 학습 알고리즘을 개발하기 위해.
• 컴퓨터 비전 및 자연어 처리 작업 전반에서 다양한 초모수 설정에서 학습 효율성과 수렴 강건성을 향상시키기 위해.
• 점진적 기대값 최대화(iEM) 프레임워크를 사용하여 제안된 알고리즘의 이론적 수렴 보장을 제공하기 위해.

제안 방법

• iPC 알고리즘은 신경 활동과 시냅스 가중치를 동기적으로 점진적으로 업데이트하여, 단계 전환을 위한 별도의 제어 신호가 필요 없도록 한다.
• 점진적 기대값 최대화(iEM) 접근법을 사용해 예측 코드화 업데이트 규칙을 재구성함으로써, 변분 자유 에너지의 국소 최소값으로 수렴함을 보장한다.
• 이 방법은 계층적 생성 모델을 활용하며, 단일 통합 업데이트 스케줄에서 신경 상태와 시냅스 가중치를 번갈아 가며 업데이트함으로써 변분 자유 에너지를 최소화한다.
• 알고리즘은 고정된 추론 학습률 0.5를 사용하며, 배치당 추론 단계 수를 수동으로 조정할 필요 없이 엔드 투 엔드 학습을 수행한다.
• 특히 언어 모델 학습에서 안정성과 성능 향상을 위해 피셔 정보 기반의 $τ$-수정을 적용한다.
• 이 프레임워크는 잔차 연결, 레이어 정규화(유용한 경우), AdamW 및 SGD와 같은 최적화 기법과 같은 표준 딥러닝 구성 요소와 호환된다.

실험 결과

연구 질문

• RQ1 외부 제어 신호가 필요 없이 생물학적으로 타당하고 완전 자동화된 학습 알고리즘을 설계할 수 있는가?
• RQ2 신경 활동과 시냅스 가중치의 업데이트를 동기화하면 표준 예측 코드화 대비 더 빠른 수렴성과 향상된 학습 안정성을 달성할 수 있는가?
• RQ3 제안된 점진적 예측 코드화(iPC) 방법이 이미지 분류 및 언어 모델링을 포함한 다양한 벤치마크에서 백프로파게이션과 비교해 유사하거나 뛰어난 성능을 달성할 수 있는가?
• RQ4 특히 배치 크기, 학습률, 추론 단계 수와 같은 초모수의 넓은 범위에서 iPC는 강건성과 수렴성을 유지하는가?
• RQ5 변분 추론과 자유 에너지 최소화의 맥락에서 제안된 점진적 업데이트 방식의 이론적 수렴 성질은 무엇인가?

주요 결과

• iPC는 CIFAR-10, CIFAR-100, Tiny ImageNet를 포함한 모든 이미지 분류 벤치마크에서 표준 예측 코드화(PC)보다 높은 테스트 정확도를 달성했으며, 모든 초모수 조합에서 일관된 향상이 있었다.
• ImageNet-1k 데이터셋에서 iPC는 ResNet-18을 사용해 상위-1 정확도 78.4%를 기록했으며, PC를 초월하고 백프로파게이션과 동등한 성능을 보였다.
• 마스크된 언어 모델링에서 iPC는 평균 10개 시드 기준 테스트 손실 93.45를 기록했으며, PC(934.5)보다 유의미하게 낮고 BP(83.62)와 유사했으며, 손실 분산이 90% 감소했다.
• 조건부 언어 모델링에서 iPC는 평균 테스트 손실 138.5를 기록했으며, PC(206.3)를 초월하고 BP(112.7)에 가까워졌으며, 평균 성능에서 35% 향상되었다.
• 이미지 분류 작업에서 iPC는 96개의 초모수 조합 중 96개에서 수렴했으며, PC는 단지 26개에 그쳤다. 이는 iPC가 초모수 선택에 대해 훨씬 더 뛰어난 강건성을 보임을 시사한다.
• 분포 이탈 상황(예: 손상된 CIFAR-10)에서 iPC는 BP보다 유의미하게 더 나은 모델 校정(정확도)을 유지했으며, 이는 외부 분포 설정에서의 신뢰성 향상을 시사한다.