[논문 리뷰] Hebbian learning with gradients: Hebbian convolutional neural networks with modern deep learning frameworks

Thomas Miconi|arXiv (Cornell University)|2021. 07. 04.

Neural Networks and Applications인용 수 9

한 줄 요약

이 논문은 순수 헤비안, 그로스버그의 인스터, 오자 규칙과 같은 헤비안 학습 규칙을 현대 딥러닝 프레임워크에서 서로서티브 손실 함수를 사용해 구현할 수 있음을 보여준다. 이 손실 함수의 기울기는 정확히 원하는 가중치 갱신을 생성한다. 이러한 손실 함수를 활용해 저자들은 희소 플라스티시티와 프루닝과 같은 간섭 조치를 통해 성능을 크게 향상시킨 딥 컨volution 헤비안 네트워크를 훈련시켰으며, 이는 일반적으로 계층 간에 감소하는 복원 성능의 경향을 뒤집는 데 성공했다.

ABSTRACT

Deep learning networks generally use non-biological learning methods. By contrast, networks based on more biologically plausible learning, such as Hebbian learning, show comparatively poor performance and difficulties of implementation. Here we show that Hebbian learning in hierarchical, convolutional neural networks can be implemented almost trivially with modern deep learning frameworks, by using specific losses whose gradients produce exactly the desired Hebbian updates. We provide expressions whose gradients exactly implement a plain Hebbian rule (dw ~= xy), Grossberg's instar rule (dw ~= y(x-w)), and Oja's rule (dw ~= y(x-yw)). As an application, we build Hebbian convolutional multi-layer networks for object recognition. We observe that higher layers of such networks tend to learn large, simple features (Gabor-like filters and blobs), explaining the previously reported decrease in decoding performance over successive layers. To combat this tendency, we introduce interventions (denser activations with sparse plasticity, pruning of connections between layers) which result in sparser learned features, massively increase performance, and allow information to increase over successive layers. We hypothesize that more advanced techniques (dynamic stimuli, trace learning, feedback connections, etc.), together with the massive computational boost offered by modern deep learning frameworks, could greatly improve the performance and biological relevance of multi-layer Hebbian networks.

연구 동기 및 목표

• 현대 딥러닝 프레임워크를 사용해 딥 컨volution 네트워크에서 생물학적으로 타당한 헤비안 학습을 가능하게 하기.
• 헤비안 네트워크의 고차원 계층에서 성능 저하 문제를 해결하기. 이는 필터 수가 증가함에도 불구하고 복원 성능이 감소하는 장기적인 문제를 다룬다.
• 서로서티브 손실 함수를 사용해 정확한 헤비안 가중치 갱신을 유도함으로써, 최소한의 공학적 오버헤드로도 헤비안 학습을 구현할 수 있음을 보여주기.
• 희소 플라스티시티와 계층 간 프루닝과 같은 아키텍처 간섭 조치가 계층적 헤비안 네트워크에서 정보 흐름을 복원하고 향상시키는 데 어떻게 기여하는지 탐색하기.
• 현대 딥러닝 프레임워크의 계산 능력과 생물학적으로 영감을 받은 학습 규칙을 조합함으로써 비지도 및 자기지도 학습의 새로운 길을 열기.

제안 방법

• 기울기가 표준 헤비안 규칙을 정확히 구현하는 서로서티브 손실 함수를 사용: 순수 헤비안 ($\Delta w \propto xy$), 인스터 ($\Delta w \propto y(x-w)$), 오자 규칙 ($\Delta w \propto y(x - yw)$).
• 출력 $y$ 를 입력 $x$, 가중치 $w$, 오자 규칙의 경우 실제 출력 $\hat{y}$ 의 함수로 정의하여 기울기 등가성을 확보하고 원하는 갱신과 일치시킨다.
• k-WTA (k번째로 큰 값의 임계 처리) 연산을 적용해 활성화를 이진화함으로써 희소 플라스티시티를 시뮬레이션하고 국소 학습 규칙을 효과적으로 적용할 수 있도록 한다.
• 파이토치의 표준 역전파 메커니즘을 사용해 서로서티브 손실의 기울기를 계산함으로써, 커스텀 autograd 확장 없이도 헤비안 가중치 갱신을 직접 도출한다.
• 두 가지 주요 간섭 조치를 도입: (1) 희소성 향상을 위한 '삼각형' 방법을 통한 활성화 계산, (2) 단순한 특징에 대한 과적합을 방지하기 위한 계층 간 연결 프루닝.
• 표준 컨볼루션 레이어를 사용해 CIFAR-10에서 네트워크를 훈련하고, 계층 간 성능을 평가하며, 제약 없는 네트워크와 간섭 조치가 적용된 네트워크 간의 복원 정확도를 비교한다.

실험 결과

연구 질문

• RQ1 커스텀 autograd 기반 기술 없이도 현대 딥러닝 프레임워크를 사용해 생물학적으로 타당한 헤비안 학습 규칙을 딥 컨볼루션 네트워크에 정확히 적용할 수 있는가?
• RQ2 헤비안 네트워크의 고차원 계층에서 일반적으로 간단한 특징(예: 가보르 유사 필터나 원형 패턴)만 학습하게 되는 이유는 무엇이며, 이로 인해 복원 성능이 저하되는가?
• RQ3 희소 플라스티시티와 프루닝과 같은 아키텍처 간섭 조치가 헤비안 네트워크의 고차원 계층에서 정보 흐름을 복원하고 성능을 향상시킬 수 있는가?
• RQ4 서로서티브 손실 함수를 얼마나 모듈러하고 재사용 가능한 방식으로 현대 딥러닝 프레임워크 내에서 다양한 국소 학습 규칙을 구현하는 데 사용할 수 있는가?
• RQ5 현대 컴퓨팅 자원과 생물학적으로 영감을 받은 학습 규칙의 조합이 비지도 학습에서 더 정확하고 생물학적으로 관련성이 높은 계층적 표현을 도출할 수 있는가?

주요 결과

• 순수 헤비안, 인스터, 오자 규칙을 포함한 헤비안 학습 규칙은 현대 딥러닝 프레임워크에서 단순한 서로서티브 손실 함수를 사용해 정확한 기울기 등가성을 확보함으로써 정확히 구현될 수 있다.
• 제약 없는 헤비안 네트워크에서는 고차원 계층에서 항상 큰 크기의 단순한 특징(예: 가보르 유사 에지 검출기, 원형 패턴 등)을 학습하며, 이는 계층 간에 복원 성능 저하와 밀접한 관련이 있다.
• 희소 플라스티시티(예: k-WTA를 통한)와 계층 간 연결 프루닝을 도입함으로써 고차원 계층의 성능이 크게 향상되었으며, 일반적으로 관찰되는 성능 저하 경향을 뒤집는 데 성공했다.
• 이 간섭 조치들은 더 희소하고 정보량이 많은 학습된 특징을 유도하며, 결과적으로 하위 계층보다 고차원 계층에서 복원 성능이 뛰어나지 않는 현상을 반전시켰다.
• 저자들은 현대 딥러닝 프레임워크를 사용해 최소한의 구현 오버헤드로 복잡한 헤비안 네트워크를 탐색할 수 있음을 보여주었으며, 생물학적으로 영감을 받은 학습 규칙의 빠른 프로토타이핑을 가능하게 했다.
• 이 방법은 생물학적으로 타당한 학습을 달성하면서도 표준 훈련 파ip라인을 그대로 사용할 수 있게 하여, 비지도 및 자기지도 표현 학습의 잠재력을 높이는 유망한 길을 제시한다.