[논문 리뷰] Predictive Coding Can Do Exact Backpropagation on Convolutional and Recurrent Neural Networks

Tommaso Salvatori, Yuhang Song외 3명|arXiv (Cornell University)|2021. 03. 05.

Neural dynamics and brain function참고 문헌 32인용 수 17

한 줄 요약

이 논문은 합성곱 신경망과 순환 신경망에서 백프로파게이션(BP)을 정확히 재현하는 생물학적으로 타당한 알고리즘인 제로 발산 추론 학습(Z-IL)을 소개한다. 추론 학습을 수렴 조건을 제거하고 계산 비용을 감소시켜 재구성함으로써 Z-IL는 표준 BP에 비해 극히 미미한 오버헤드만으로도 BP에 준하는 성능을 달성하며, 복잡한 아키텍처인 CNNs와 RNNs에서도 이를 처음으로 이룬다.

ABSTRACT

Predictive coding networks (PCNs) are an influential model for information processing in the brain. They have appealing theoretical interpretations and offer a single mechanism that accounts for diverse perceptual phenomena of the brain. On the other hand, backpropagation (BP) is commonly regarded to be the most successful learning method in modern machine learning. Thus, it is exciting that recent work formulates inference learning (IL) that trains PCNs to approximate BP. However, there are several remaining critical issues: (i) IL is an approximation to BP with unrealistic/non-trivial requirements, (ii) IL approximates BP in single-step weight updates; whether it leads to the same point as BP after the weight updates are conducted for more steps is unknown, and (iii) IL is computationally significantly more costly than BP. To solve these issues, a variant of IL that is strictly equivalent to BP in fully connected networks has been proposed. In this work, we build on this result by showing that it also holds for more complex architectures, namely, convolutional neural networks and (many-to-one) recurrent neural networks. To our knowledge, we are the first to show that a biologically plausible algorithm is able to exactly replicate the accuracy of BP on such complex architectures, bridging the existing gap between IL and BP, and setting an unprecedented performance for PCNs, which can now be considered as efficient alternatives to BP.

연구 동기 및 목표

• 추론 학습(IL)의 한계를 해결하기 위해, 비현실적인 수렴 조건과 높은 계산 비용을 수반하는 백프로파게이션(BP)을 근사하는 방식을 개선한다.
• 예측 코드 네트워크를 통한 생물학적으로 타당한 학습과 복잡한 딥러닝 모델에서의 BP 성공 간 격차를 해소한다.
• IL의 변종인 Z-IL가 합성곱 및 순환 신경망에서 BP 동역학을 정확히 재현할 수 있음을 보여준다.
• Z-IL가 계산적으로 효율적이며, IL에서 요구하는 T ≈ 100–200단계의 추론 단계를 신호 전파에 필요한 최소 깊이 l_max로 줄임으로써 비용을 크게 감소시킴을 보여준다.
• Z-IL가 기계학습 및 신경과학적 맥락에서 BP의 실현 가능하고 고성능 대체 방법으로 자리매김할 수 있음을 확립한다.

제안 방법

• Z-IL는 합성곱 및 다수의 입력에서 하나의 출력을 내보내는 순환 신경망에 대해 BP와 정확히 일치하는 가중치 갱신 방정식을 유도함으로써 추론 학습을 재구성한다.
• 이 방법은 평형 상태에 도달하기까지 반복적으로 추론을 수행할 필요 없이, 계층 간 예측 오차를 계산하는 수정된 추론 과정을 사용한다.
• 비선형이고 깊은 아키텍처에서도 BP와 정확히 동일하게 오차 신호가 전파되도록 보장하는 새로운 피드백 메커니즘을 도입한다.
• IL에서 요구하는 T단계가 아니라, 입력에서 출력으로 정보를 전달하기 위해 필요한 최소 추론 단계 수 l_max를 기반으로 가중치 갱신을 계산한다.
• 이론적 유도는 자유 에너지 최소화와 변분 추론에 기반하며, 생물학적 타당성을 유지하면서도 수학적으로 BP와 동치임을 확보한다.
• 실증적 검증은 여러 아키텍처(CNNs, RNNs)와 데이터셋(FashionMNIST, ImageNet, 아케이드 게임)을 대상으로 수행되었으며, 실행 시간과 정확도를 비교하였다.

실험 결과

연구 질문

• RQ1 생물학적으로 타당한 학습 알고리즘이 복잡한 딥러닝 아키텍처인 합성곱 및 순환 네트워크에서 백프로파게이션의 가중치 갱신을 정확히 재현할 수 있는가?
• RQ2 Z-IL는 이전 IL 방법에서 비현실적인 평형 상태 수렴 요구 조건을 제거하는가?
• RQ3 Z-IL는 표준 추론 학습에 비해 상당히 감소된 계산 비용으로 BP에 준하는 성능을 달성할 수 있는가?
• RQ4 Z-IL와 BP 간의 동치성은 단일 갱신이 아닌 다수의 가중치 갱신 단계 동안 유지되는가?
• RQ5 Z-IL는 대규모 작업(예: ImageNet 분류)에서 BP의 정확성과 효율성을 유지하면서도 생물학적 타당성을 유지하는가?

주요 결과

• Z-IL는 합성곱 및 순환 신경망 모두에서 백프로파게이션의 가중치 갱신을 정확히 재현하여 수학적 동치성을 입증한다.
• 필요한 추론 단계 수를 IL에서 요구하는 T ≈ 100–200에서, 신호 전파에 필요한 최소 깊이 l_max로 감소시켜 계산 비용을 크게 낮춘다.
• 신경망의 경우 평균적으로 Z-IL는 가중치 갱신당 3.81ms, RNN은 5.67ms, CNN은 8.86ms 소요되며, BP(각각 3.72ms, 5.64ms, 8.72ms)에 비해 극히 미미한 오버헤드만 존재한다.
• 반면 IL는 갱신당 약 594ms(ANN), 420ms(RNN), 661ms(CNN) 소요되어 BP보다 100배 이상 느리다.
• Z-IL는 ImageNet 및 아케이드 게임에서 BP 수준의 정확도를 달성하여, 복잡한 작업에서 BP의 실용적이고 효율적인 대안임을 입증한다.
• 결과적으로 Z-IL는 BP와 이론적으로 동치일 뿐 아니라, IL에 비해 수개의 주기 차이로 빠른 실행이 가능하여 계산적으로 실현 가능함을 보여준다.