[논문 리뷰] Adaptive Bidirectional Backpropagation: Towards Biologically Plausible Error Signal Transmission in Neural Networks

Hongyin Luo, Jie Fu외 1명|arXiv (Cornell University)|2017. 02. 23.

Advanced Memory and Neural Computing참고 문헌 13인용 수 6

한 줄 요약

이 논문은 양방향 피드백 가중치를 학습시켜 전방 활성화를 근사하도록 하는 생물학적으로 타당한 학습 프레임워크인 적응형 이중방향 역전파(BBA)를 제안한다. 이는 고정되거나 무작위로 설정된 피드백 가중치를 넘어서며, MNIST 및 CIFAR-10에서 FA 및 DFA보다 뛰어난 성능을 보이며, 깊은 신경망에서 오차 신호 전달을 향상시킨다.

ABSTRACT

The back-propagation (BP) algorithm has been considered the de-facto method for training deep neural networks. It back-propagates errors from the output layer to the hidden layers in an exact manner using the transpose of the feedforward weights. However, it has been argued that this is not biologically plausible because back-propagating error signals with the exact incoming weights are not considered possible in biological neural systems. In this work, we propose a biologically plausible paradigm of neural architecture based on related literature in neuroscience and asymmetric BP-like methods. Specifically, we propose two bidirectional learning algorithms with trainable feedforward and feedback weights. The feedforward weights are used to relay activations from the inputs to target outputs. The feedback weights pass the error signals from the output layer to the hidden layers. Different from other asymmetric BP-like methods, the feedback weights are also plastic in our framework and are trained to approximate the forward activations. Preliminary results show that our models outperform other asymmetric BP-like methods on the MNIST and the CIFAR-10 datasets.

연구 동기 및 목표

• 표준 역전파의 대체 방법으로 대칭 가중치 제약 조건을 피하는 생물학적으로 타당한 방법을 개발하는 것.
• 학습 가능한 피드백 가중치가 깊은 신경망에서 오차 신호 전달을 향상시킬 수 있는지 조사하는 것.
• FA 및 DFA와 같은 비대칭 BP 유사 방법에서 고정되거나 무작위 피드백 가중치의 한계를 해결하는 것.
• 전방 및 후방 경로 모두가 유연한 양방향 학습을 탐색하여 뇌의 신경 가소성과 유사하게 만드는 것.
• 적응형 피드백 가중치가 무작위 또는 고정 피드백 행렬보다 더 나은 성능을 낼 수 있음을 입증하는 것.

제안 방법

• 이중방향 피드백 정렬(BFA) 및 이중방향 직접 피드백 정렬(BDFA)이라는 두 가지 모델을 제안하며, 전방 및 피드백 가중치 모두를 학습 가능하게 한다.
• 피드백 가중치는 전방 활성화 함수를 근사하도록 학습되어, 오차 신호가 무작위가 아닌 학습된 행렬을 통해 전달되도록 한다.
• 두 단계 학습 프로세스를 사용한다: 전방 전파를 통한 활성화 전파와 적응형 피드백 가중치를 사용한 오차 신호 전달을 위한 후방 전파.
• CIFAR-10에서 BDFA는 목표 레이블과 네트워크 출력을 조합하여 후방 학습의 안정성을 높이기 위해 수정된 손실 함수를 사용한다.
• 입력 특징을 출력 특징으로부터 재구성하기 위한 후방 생성 절차를 도입하여 학습된 피드백 매핑의 타당성을 검증한다.
• BFA에서 출력 특징에서 입력 특징으로의 매핑을 위해 MLP를 사용하여 전방 과정의 역전환 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 고정되거나 무작위 피드백 행렬과 비교해 학습 가능한 피드백 가중치가 깊은 신경망에서 오차 신호 전달을 향상시킬 수 있는가?
• RQ2 전방 활성화를 근사하도록 학습되는 가소성 있는 피드백 가중치는 생물학적으로 타당한가?
• RQ3 적응형 피드백 가중치를 갖춘 이중방향 학습이 FA 및 DFA와 같은 비대칭 BP 방법보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ4 복잡한 데이터셋인 CIFAR-10에서 적응형 피드백과 고정 피드백의 성능는 어떻게 비교되는가?
• RQ5 피드백 가중치가 전방 매핑을 역전환할 수 있는가? 즉, 출력 표현에서 입력 특징을 재구성할 수 있는가?

주요 결과

• BFA는 MNIST에서 FA 및 DFA를 능가하며, 1×400 아키텍처에서 테스트 오차율 48.34%를 기록했고, 각각 FA와 DFA는 48.38% 및 48.48%였다.
• CIFAR-10에서 BDFA는 비대칭 방법 중에서 가장 뛰어난 성능을 보였으며, 2×800 아키텍처에서 테스트 오차율 48.46%를 기록했다.
• BFA 모델은 원-핫 출력 특징에서 입력 이미지를 성공적으로 재구성하여, 피드백 가중치가 출력에서 입력 표현으로의 매핑을 학습하고 있음을 보여주었다.
• BDFA는 출력 특징을 네트워크의 현재 출력에서 작은 비율을 포함하도록 수정함으로써 CIFAR-10에서 후방 학습의 안정성을 향상시켜 성능이 향상되었다.
• 이 연구는 적응형 피드백 가중치가 고정되거나 무작위 피드백 행렬보다 더 효과적임을 보이며, DNN에서 이러한 이점이 처음으로 실증적으로 입증되었다.
• 저자들은 원시 입력을 매핑할 때 비추상적이고 고차원적인 특징으로 인해 BFA에서 학습 안정성이 떨어지는 것을 관찰하였으며, 이는 은닉층에서 추상적 표현을 학습하는 것이 더 가능하다는 것을 시사한다.