[논문 리뷰] Random feedback weights support learning in deep neural networks

Timothy Lillicrap, Daniel Cownden외 2명|arXiv (Cornell University)|2014. 11. 02.

Advanced Memory and Neural Computing참고 문헌 20인용 수 88

한 줄 요약

이 논문은 오차 역전파에서 가중치를 공유하는 오차 역전파를 고정된 무작위 피드백 가중치로 대체하는 생물학적으로 타당한 딥러닝 알고리즘인 피드백 어드지먼트(Feedback Alignment)를 제안한다. 전방 가중치의 전치 행렬 대신 무작위 행렬을 사용함에도 불구하고, 다양한 작업에서 표준 역전파와 비교할 만한 성능을 달성하여, 무작위 피드백 가중치가 여전히 깊은 신경망에서 효과적인 신용 할당을 가능하게 함을 보여준다.

ABSTRACT

The brain processes information through many layers of neurons. This deep architecture is representationally powerful, but it complicates learning by making it hard to identify the responsible neurons when a mistake is made. In machine learning, the backpropagation algorithm assigns blame to a neuron by computing exactly how it contributed to an error. To do this, it multiplies error signals by matrices consisting of all the synaptic weights on the neuron's axon and farther downstream. This operation requires a precisely choreographed transport of synaptic weight information, which is thought to be impossible in the brain. Here we present a surprisingly simple algorithm for deep learning, which assigns blame by multiplying error signals by random synaptic weights. We show that a network can learn to extract useful information from signals sent through these random feedback connections. In essence, the network learns to learn. We demonstrate that this new mechanism performs as quickly and accurately as backpropagation on a variety of problems and describe the principles which underlie its function. Our demonstration provides a plausible basis for how a neuron can be adapted using error signals generated at distal locations in the brain, and thus dispels long-held assumptions about the algorithmic constraints on learning in neural circuits.

연구 동기 및 목표

• 신경망 간의 정밀한 시냅스 가중치 정보 공유가 필요하다는 점에서 역전파의 생물학적 비현실성을 해결하기 위해.
• 후방 경로에서 전방 가중치를 알지 못해도 깊은 신경망이 효율적으로 학습할 수 있도록 학습 알고리즘을 개발하기 위해.
• 무작위 피드백 가중치가 깊은 신경망 내에서 여전히 유용한 오차 신호를 제공할 수 있음을 입증하기 위해.
• 뇌의 상류 시냅스가 하류 오차 신호에 기반해 어떻게 업데이트될 수 있는지에 대한 메커니즘을 제공하여 신경과학에서 오랫동안 남아있던 질문을 해결하기 위해.

제안 방법

• 역전파에서 전방 가중치의 전치 행렬 $W^T$ 를 후방 경로에서 고정된 무작위 행렬 $B$ 로 대체하여, 은닉 유닛 갱신을 $\Delta \mathbf{h}_{\text{FA}} = B\mathbf{e}$ 로 계산한다.
• 피드백 어드지먼트 갱신 방향과 진짜 역전파 갱신 방향 간의 각도가 항상 90도 이내에 유지되도록 조건을 설정함으로써, 학습 신호가 유용한 방향을 향하고 있음을 보장한다.
• 고정된 무작위 피드백 가중치를 사용하더라도, 무작위 행렬 $B$ 가 진짜 기울기 방향과 영향을 주는 내적의 값이 0이 아니면, 신경망이 오차를 최소화하기 위해 내부 표현을 정렬할 수 있음을 입증한다.
• 피드백 어드지먼트에서 은닉 유닛 갱신이 의사역전파의 갱신과 항상 양의 스칼라 배수임을 증명함으로써, 학습 방향이 일관됨을 보장한다.
• 선형 및 비선형 작업에 대해 알고리즘을 구현하고 테스트하여, 표준 역전파, 강화 학습, 얕은 학습 방법과 성능를 비교한다.
• 이론적 분석을 통해 단순화된 동역학 하에서 수렴성을 증명하여, 학습 신호가 시간이 지남에 따라 진짜 기울기 방향과 일치함을 보여준다.

실험 결과

연구 질문

• RQ1 오차 신호가 전치된 시냅스 가중치 대신 고정된 무작위 피드백 가중치를 통해 전파될 경우, 깊은 신경망이 효과적으로 학습할 수 있는가?
• RQ2 이러한 네트워크의 성능이 속도와 정확도 측면에서 표준 역전파와 유사한가?
• RQ3 무작위 피드백 가중치를 사용하더라도 깊은 신경망에서 여전히 효과적인 신용 할당이 가능한가?
• RQ4 피드백 가중치가 전방 가중치와 관련이 없더라도, 네트워크가 내부 표현을 정렬할 수 있는가?
• RQ5 무작위 피드백 가중치가 여전히 유용한 학습 신호를 생성할 수 있는 이론적 조건은 무엇인가?

주요 결과

• 고정된 무작위 피드백 가중치를 사용한 피드백 어드지먼트는 선형 및 비선형 작업 모두에서 표준 역전파와 비교할 만한 성능을 보이며, 정규화된 제곱오차(NSE)로 측정된다.
• 피드백 어드지먼트와 역전파의 갱신 방향 간의 각도는 항상 90도 이내로 유지되어, 학습 신호가 진짜 기울기 방향과 일치함을 나타낸다.
• 무작위 피드백 행렬 $B$ 의 선택에 대해 강건하며, 평균적으로 $\mathbf{e}^T W B \mathbf{e} > 0$ 를 만족하면 피드백 신호가 유용한 방향에 위치함을 보장한다.
• 이론적 분석을 통해 피드백 어드지먼트에서 은닉 유닛 갱신은 항상 의사역전파 갱신의 양의 스칼라 배수임을 입증하여, 일관된 학습 방향을 보장한다.
• 단순화된 동역학 하에서 알고리즘이 수렴함을 증명하여, 가중치 이동 없이도 학습이 가능함을 보여주며, $W$ 와 $A$ 가 0으로 초기화되어도 성립한다.
• 학습 속도와 확장성 측면에서 강화 학습 및 얕은 학습 메커니즘보다 우수하며, 깊은 신경망의 표현 능력을 유지한다.