[논문 리뷰] Local plasticity rules can learn deep representations using self-supervised contrastive predictions

Bernd Illing, Jean Ventura외 2명|arXiv (Cornell University)|2020. 10. 16.

Neural dynamics and brain function인용 수 26

한 줄 요약

이 논문은 깊이 있는 신경망이 역전파 없이 계층적 표현을 학습할 수 있도록 하는 생물학적으로 타당한 학습 규칙인 CLAPP(대비, 국소 및 예측 가능한 유연성)를 제안한다. 사카데와 유사한 시선 이동을 이용한 자기지도 대비 예측과 전역적 놀라움 신호에 의해 조절되는 국소 히브시안 업데이트를 활용함으로써, CLAPP는 역전파 없이도 STL-10에서 77.6%의 정확도를 달성하며, 신경과학 원칙에 부합하는 국소적 비지도 학습 규칙를 유지한다.

ABSTRACT

Learning in the brain is poorly understood and learning rules that respect biological constraints, yet yield deep hierarchical representations, are still unknown. Here, we propose a learning rule that takes inspiration from neuroscience and recent advances in self-supervised deep learning. Learning minimizes a simple layer-specific loss function and does not need to back-propagate error signals within or between layers. Instead, weight updates follow a local, Hebbian, learning rule that only depends on pre- and post-synaptic neuronal activity, predictive dendritic input and widely broadcasted modulation factors which are identical for large groups of neurons. The learning rule applies contrastive predictive learning to a causal, biological setting using saccades (i.e. rapid shifts in gaze direction). We find that networks trained with this self-supervised and local rule build deep hierarchical representations of images, speech and video.

연구 동기 및 목표

• 생물학적으로 타당한 국소적 유연성 규칙과 뇌에서 관찰되는 깊이 있는 계층적 표현 간 격차를 해소하기 위해.
• 역전파를 피하면서도 깊은 네트워크에서 유용한 계층적 특징을 형성할 수 있는 학습 규칙을 개발하기 위해.
• 자연적 입력의 시간적 구조—특히 사카데와 유사한 시선 이동—을 국소적 학습 메커니즘에 통합하기 위해.
• 순수하게 국소적 비지도 규칙이 역전파 기반 모델과 비교할 만한 성능을 달성할 수 있는지 입증하기 위해.

제안 방법

• 모델은 사전 및 사카데 이후 입력 간 대비 예측에 기반한 계층별 손실 함수를 사용한다.
• 가중치 업데이트는 전후 시냅스 활동, 예측된 덴드리틱 입력 및 전역적으로 방송되는 조절 신호에만 의존하는 국소 히브시안 규칙를 따른다.
• 조절 신호는 사카데 감지에서 유도되며, 전역적 '놀라움' 또는 예측 오차 신호를 모델링한다.
• 학습 규칙은 역전파 없이도 현재 상태와 미래 상태를 비교하는 예측 대비 목표에 기반하여 구현된다.
• 맥스 풀링 레이어는 횡방향 억제로 모델링되어 근사 없이 기울기 호환성을 유지한다.
• 이 방법은 이미지(STL-10), 음성, 비디오 데이터에서 테스트되었으며, 선형 프로빙을 통해 성능이 평가되었다.

실험 결과

연구 질문

• RQ1 순수하게 국소적 비지도 학습 규칙이 역전파 없이 깊이 있는 계층적 표현을 형성할 수 있는가?
• RQ2 사카데와 유사한 이벤트를 이용한 자기지도 대비 예측이 생물학적으로 타당한 프레임워크 내에서 효과적인 표현 학습을 가능하게 하는가?
• RQ3 사카데 감지에서 유도된 전역 조절 신호가 국소적 유연성 규칙의 학습을 향상시키는가?
• RQ4 이러한 규칙이 표준 벤치마크에서 역전파 기반 모델과 비교할 만한 성능을 달성할 수 있는가?
• RQ5 결과로 도출된 표현 계층은 계층 간 의미 있고 해석 가능한가?

주요 결과

• CLAPP는 두 모듈 아키텍처를 사용해 STL-10에서 77.6%의 선형 분류 정확도를 달성했으며, 엔드 투 엔드 역전파의 80.3% 정확도에 근접했다.
• 깊이 있는 아키텍처에서 성능 향상이 관찰됨: 계층별(1 모듈) 74.0%, 2 모듈 77.6%, 엔드 투 엔드 훈련 80.3%.
• CLAPP로 훈련된 네트워크의 고차원 레이어는 점점 더 복잡한 특징을 추출했으며, 예를 들어 물체의 일부를 인식했고, 저차원 레이어는 가장자리나 격자 무늬와 같은 단순한 패턴을 탐지했다.
• 랜덤 인코더 베이스라인은 계층적 특징 진행이 없었으며, 이는 아키텍처 자체만으로 깊은 표현을 유도하지 못한다는 것을 확인했다.
• 예측 레이어보다 위 레이어의 컨텍스트 표현을 사용할 경우에도 모델은 여전히 효과적이었으며, 72.4%의 정확도를 기록했다.
• 선호하는 패치 시각화와 t-SNE 임베딩 결과는 CLAPP로 훈련된 특징이 무작위 가중치와 달리 의미 있고 해석 가능한 계층을 형성한다는 것을 확인했다.