[논문 리뷰] Towards truly local gradients with CLAPP: Contrastive, Local And Predictive Plasticity.

Bernd Illing, Wulfram Gerstner외 1명|arXiv (Cornell University)|2020. 10. 16.

Neural Networks and Applications참고 문헌 16인용 수 4

한 줄 요약

CLAPP는 오차 역전파 없이도 인공 신경망에서 깊이 있는 계층적 표현 학습을 가능하게 하는 국소적으로 적용 가능한 비지도 학습 알고리즘이다. 이 알고리즘은 국소적인 전·후시냅스 뉴런 상태와 전역적인 레이어 전체 요소를 기반으로 한 레이어별 손실 함수를 사용하여 뇌 유사 학습을 성공적으로 모방하면서도, 이미지 및 음성 표현 작업에서 오차 역전파와 비교할 만한 성능을 달성한다.

ABSTRACT

Back-propagation (BP) is costly to implement in hardware and implausible as a learning rule implemented in the brain. However, BP is surprisingly successful in explaining neuronal activity patterns found along the cortical processing stream. We propose a locally implementable, unsupervised learning algorithm, CLAPP, which minimizes a simple, layer-specific loss function, and thus does not need to back-propagate error signals. The weight updates only depend on state variables of the pre- and post-synaptic neurons and a layer-wide third factor. Networks trained with CLAPP build deep hierarchical representations of images and speech.

연구 동기 및 목표

• 신경망에서 오차 역전파의 계산적 및 생물학적으로 불합리한 점을 피하는 생물학적으로 타당한 학습 규칙을 개발하는 것.
• 오직 국소적 레이어별 정보만을 사용하여 인공 네트워크에서 깊이 있는 계층적 표현 학습을 가능하게 하는 것.
• 오차 역전파를 대체할 수 있는 국소적, 예측 가능하고 대비적인 가소성 메커니즘을 도입하여, 전·후시냅스 뉴런 상태와 레이어 전체 요소에만 의존하는 것.
• 이러한 국소적 학습 규칙이 시각 및 음성 작업에서 비지도 표현 학습에서 오차 역전파와 비교할 만한 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 알고리즘은 오직 국소적 전·후시냅스 뉴런 상태와 전역적인 레이어 전체 요소에 의존하는 레이어별 손실 함수를 최소화함으로써 오차 신호의 역전파가 필요 없도록 한다.
• 대비적이고 국소적이며 예측 가능한 가소성 규칙을 사용하여, 국소적 활동 패tern과 공유된 레이어 전체 신호에 기반해 시냅스 가중치를 갱신한다.
• 간단하고 미분 가능한 손실 함수에서 유도된 가중치 갱신을 통해, 네트워크 전반의 기울기 계산 없이도 레이어 간 일관된 표현을 장려한다.
• 이 방법은 완전히 국소적으로 구현된다: 각 시냅스는 오직 자신의 즉각적인 전·후시냅스 활동과 공통의 레이어 전체 신호에만 기반해 갱신된다.
• CLAPP는 깊이 있는 네트워크에 적용되어 이미지 및 음성 데이터에 대한 비지도 사전 훈련을 수행하며, 감독 없이 계층적 특징을 학습한다.

실험 결과

연구 질문

• RQ1 오차 역전파를 피하는 학습 규칙이 깊이 있는 네트워크에서 의미 있는 계층적 표현을 학습할 수 있는가?
• RQ2 오직 국소적 뉴런 상태와 전역적인 레이어 전체 요소만을 사용하여 경쟁적인 표현 학습 성능를 달성할 수 있는가?
• RQ3 시각 및 음성 작업에서, 국소적으로 적용되는 비지도 학습 규칙이 오차 역전파와 표현 품질 측면에서 어떻게 비교되는가?
• RQ4 이러한 규칙이 케라미드 처리 흐름에서 관찰된 뉴런 활동 패턴과 일치하는 패턴을 생성할 수 있는가?

주요 결과

• CLAPP는 오차 신호의 역전파가 필요 없이 인공 신경망에서 깊이 있는 계층적 표현을 성공적으로 학습한다.
• 이미지 및 음성 데이터에 대한 비지도 사전 훈련에서, CLAPP는 하류 표현 품질 측정 기준으로 오차 역전파와 비교할 만한 성능를 달성한다.
• CLAPP로 훈련된 네트워크는 케라미드 처리 흐름에서 관찰된 뉴런 활동 패턴과 일치하는 패턴을 보이며, 생물학적 타당성을 시사한다.
• 학습 규칙은 완전히 국소적이다: 가중치 갱신은 전·후시냅스 뉴런 상태와 레이어 전체 요소에만 의존하므로 하드웨어 구현에 적합하다.