[논문 리뷰] GAIT-prop: A biologically plausible learning rule derived from backpropagation of error

Nasir Ahmad, Marcel van Gerven외 1명|arXiv (Cornell University)|2020. 06. 11.

Advanced Memory and Neural Computing참고 문헌 27인용 수 11

한 줄 요약

이 논문은 선형 및 비선형 네트워크에서 표준 backpropagation와 구분할 수 없을 정도의 성능을 달성하기 위해 점진적 타겟을 사용하는 생물학적으로 타당한 학습 규칙인 GAIT-prop을 제안한다. 전방 전파 활성화에 작은 교란을 가미함으로써, GAIT-prop는 정규 직교 행렬을 가진 가중치 매트릭스 하에서 backpropagation와 정확히 동일한 결과를 보장한다. 이는 국소적이고, 지역 기반의 기울기 기반 학습을 가능하게 하며, 비국소적 정보 전달 없이도 안정적인 학습을 가능하게 한다.

ABSTRACT

Traditional backpropagation of error, though a highly successful algorithm for learning in artificial neural network models, includes features which are biologically implausible for learning in real neural circuits. An alternative called target propagation proposes to solve this implausibility by using a top-down model of neural activity to convert an error at the output of a neural network into layer-wise and plausible 'targets' for every unit. These targets can then be used to produce weight updates for network training. However, thus far, target propagation has been heuristically proposed without demonstrable equivalence to backpropagation. Here, we derive an exact correspondence between backpropagation and a modified form of target propagation (GAIT-prop) where the target is a small perturbation of the forward pass. Specifically, backpropagation and GAIT-prop give identical updates when synaptic weight matrices are orthogonal. In a series of simple computer vision experiments, we show near-identical performance between backpropagation and GAIT-prop with a soft orthogonality-inducing regularizer.

연구 동기 및 목표

• backpropagation가 비국소적 오차 신호와 정밀한 가중치 운반에 의존한다는 점에서 생물학적으로 타당하지 않다는 문제를 해결하기 위해.
• 전체적으로 backpropagation와 동등한 성능를 유지하면서도 오직 국소적이고 계층 기반의 오차 신호만을 사용하는 학습 규칙을 개발하기 위해.
• 점진적 타겟을 도입함으로써 타겟 전파가 backpropagation와 동등하게 만들 수 있음을 보여주기 위해.
• GAIT-prop가 다양한 계층 너비를 가진 선형 및 비선형 네트워크에서 backpropagation와 거의 동일한 성능를 달성할 수 있음을 보여주기 위해.

제안 방법

• 역행 가능성을 가진 깊은 선형 네트워크를 사용하여 backpropagation와 타겟 전파 사이의 이론적 연결을 유도하기 위해.
• 오차 계산을 선형화하기 위해 전방 전파 활성화의 작은 교란으로서 점진적 타겟(γl)을 도입하기 위해.
• 시냅스 가중치 매트릭스가 직교일 경우, GAIT-prop가 backpropagation과 동일한 가중치 갱신을 생성함을 보여주기 위해.
• 비선형 네트워크에서 근사 직교 가중치 매트릭스를 유지하기 위해 소프트 직교성 유도 정규화를 구현하기 위해.
• 계층 기반 타겟을 구현하고, 다양한 은닉층 너비를 가진 네트워크에서 안정적인 학습을 가능하게 하기 위해 보조 뉴런을 사용하기 위해.
• 고정 및 감소된 은닉층 너비를 가진 MNIST 및 CIFAR-10 데이터셋을 사용하여 컴퓨터 비전 작업에서 성능를 검증하기 위해.

실험 결과

연구 질문

• RQ1 특정 조건 하에서 깊은 선형 네트워크에서 타겟 전파가 backpropagation와 동등하게 만들 수 있는가?
• RQ2 점진적 타겟을 도입함으로써 비선형 네트워크에서 타겟 전파와 backpropagation 사이의 동등성이 복원되는가?
• RQ3 GAIT-prop의 성능가 backpropagation 및 표준 타겟 전파와 비교하여 다양한 네트워크 아키텍처와 데이터셋에서 어떻게 되는가?
• RQ4 완벽한 역모델이나 이상화된 네트워크 구조 없이도 GAIT-prop이 높은 성능를 유지할 수 있는가?
• RQ5 가중치 매트릭스의 직교성이 GAIT-prop과 backpropagation 사이의 동등성을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• GAIT-prop는 선형 및 비선형 네트워크에서 모두 MNIST 및 CIFAR-10 데이터셋을 포함하여 backpropagation와 구분할 수 없을 정도의 성능를 달성한다.
• 깊은 선형 네트워크에서, 가중치 매트릭스가 직교일 경우 GAIT-prop는 backpropagation와 동일한 가중치 갱신을 생성한다.
• 표준 타겟 전파에서는 선형 네트워크에서는 높은 성능를 보이지만, 비선형 환경에서는 특히 다양한 은닉층 너비를 가진 경우 효과적으로 일반화되지 못한다.
• 소프트 직교성 유도 정규화를 사용함으로써, 다양한 학습 파rameter와 네트워크 아키텍처에서 GAIT-prop가 안정적이고 높은 성능를 유지할 수 있다.
• 네트워크의 깊이와 너비가 변하더라도 성능가 뛰어나게 유지되며, 이는 방법의 확장성과 아키텍처 변화에 대한 내성성을 보여준다.
• 계층 기반 보조 뉴런의 포함은 비가역적이며 너비가 감소한 계층으로 인한 정보 손실이 발생하는 네트워크에서도 효과적인 학습을 가능하게 한다.