[논문 리뷰] Error Forward-Propagation: Reusing Feedforward Connections to Propagate Errors in Deep Learning

Adam A. Kohan, Edward A. Rietman외 1명|arXiv (Cornell University)|2018. 08. 09.

Advanced Memory and Neural Computing참고 문헌 1인용 수 11

한 줄 요약

이 논문은 생물학적으로 타당한 방법인 오차 전방 전파(Error Forward-Propagation)를 제안한다. 이 방법은 순방향 연결을 재사용하여 오차 신호를 심층 네트워크를 거쳐 뒤로 전파하는 방식으로, 단 한 번의 백워드 루프만으로 MNIST와 Fashion-MNIST에서 각각 1.90%와 11%의 테스트 오차를 달성한다. 이로써 대칭 또는 무작위 피드백 가중치가 필요로 하는 것을 제거하고 오차 피드백에 대한 아키텍처 제약을 줄였다.

ABSTRACT

We introduce Error Forward-Propagation, a biologically plausible mechanism to propagate error feedback forward through the network. Architectural constraints on connectivity are virtually eliminated for error feedback in the brain; systematic backward connectivity is not used or needed to deliver error feedback. Feedback as a means of assigning credit to neurons earlier in the forward pathway for their contribution to the final output is thought to be used in learning in the brain. How the brain solves the credit assignment problem is unclear. In machine learning, error backpropagation is a highly successful mechanism for credit assignment in deep multilayered networks. Backpropagation requires symmetric reciprocal connectivity for every neuron. From a biological perspective, there is no evidence of such an architectural constraint, which makes backpropagation implausible for learning in the brain. This architectural constraint is reduced with the use of random feedback weights. Models using random feedback weights require backward connectivity patterns for every neuron, but avoid symmetric weights and reciprocal connections. In this paper, we practically remove this architectural constraint, requiring only a backward loop connection for effective error feedback. We propose reusing the forward connections to deliver the error feedback by feeding the outputs into the input receiving layer. This mechanism, Error Forward-Propagation, is a plausible basis for how error feedback occurs deep in the brain independent of and yet in support of the functionality underlying intricate network architectures. We show experimentally that recurrent neural networks with two and three hidden layers can be trained using Error Forward-Propagation on the MNIST and Fashion MNIST datasets, achieving $1.90\%$ and $11\%$ generalization errors respectively.

연구 동기 및 목표

• 표준 백프로파게이션의 생물학적 비현실성 문제를 해결하기 위해, 신경피질에서 관찰되지 않는 대칭적이고 상호적이고 체계적인 피드백 연결이 필요로 하는 문제를 해결한다.
• 전용 피드백 경로가 필요로 하는 제약을 제거하여 심층 네트워크에서 오차 피드백에 대한 아키텍처 제약을 줄인다.
• 기존 순방향 연결을 재사용하여 효과적인 오차 신호를 전달하는 메커니즘인 오차 전방 전파를 제안한다.
• 이 방법이 단순한 피드백 연결만으로도 심층 네트워크의 효과적인 학습을 가능하게 하여 생물학적 신경망에서의 신용 할당의 타당성을 뒷받침함을 보여준다.

제안 방법

• 출력층의 활성화를 입력층의 뉴런들에 다시 피드백하여 순방향 가중치 행렬을 피드백 경로로 재사용한다.
• 각 뉴런에 대한 별도의 피드백 연결이 필요로 하지 않도록, 출력층에서 입력층으로 향하는 단일 백워드 루프 연결을 사용한다.
• 피드백 루프 내에서 가중치 행렬의 동적 정렬에 의존하며, 순방향 가중치의 곱이 피드백 신호를 근사한다.
• 목표 출력과 실제 출력의 차이에서 유도된 피드백 신호를 순방향 전달에 사용된 동일한 가중치를 통해 앞으로 전파한다.
• 입력 수신 레이어의 활성도와 오차 신호에 기반하여 가중치를 조정하는 국소적 학습 규칙을 적용한다.
• 네트워크의 가중치 행렬이 시간이 지남에 따라 상호 정렬됨을 보여주며, 명시적인 피드백 가중치 없이도 효과적인 피드백 신호를 생성한다.

실험 결과

연구 질문

• RQ1 전용 피드백 연결이나 대칭 가중치 없이도 오차 신호가 심층 네트워크를 거쳐 효과적으로 뒤로 전파될 수 있는가?
• RQ2 순방향 가중치를 재사용하여 기능적인 오차 피드백을 제공할 수 있는가?
• RQ3 체계적인 역방향 연결이 없는 것이 심층 네트워크의 학습 성능 및 수렴에 어떤 영향을 미치는가?
• RQ4 단일의 백워드 루프 연결만으로도 다수의 은닉 레이어를 걸쳐 신용 할당을 가능하게 할 수 있는가?
• RQ5 순방향 연결을 오차 피드백에 재사용하면, 백프로파게이션 또는 무작위 피드백 정렬과 비교해 유사한 성능을 낼 수 있는가?

주요 결과

• 오차 전방 전파 방법은 이중 은닉층 네트워크를 사용하여 MNIST 데이터셋에서 일반화 오차 1.90%를 달성한다.
• 이 방법은 Fashion-MNIST 데이터셋에서 11%의 일반화 오차를 기록하여 다양한 작업에 대한 강건성을 보여준다.
• 단 한 개의 백워드 루프 연결만으로도 효과적인 오차 피드백을 가능하게 하여 아키텍처 제약을 크게 줄였다.
• 네트워크 내 가중치 행렬이 시간이 지남에 따라 상호 정렬되며, 명시적인 피드백 가중치 없이도 효과적인 피드백 신호를 생성한다.
• 대칭적이거나 상호적인 연결이 필요로 하지 않음에도 불구하고, 백프로파게이션 및 무작위 피드백 정렬과 유사한 성능을 유지한다.
• 이 방법은 국소적이고 시간에 따라 변화하는 학습을 지원하며, 평형 전파나 대비 허브스 학습과 같은 생물학적으로 타당한 메커니즘과도 호환된다.