[논문 리뷰] Multi-layer Hebbian networks with modern deep learning frameworks

Thomas Miconi|arXiv (Cornell University)|2021. 07. 04.

Neural dynamics and brain function참고 문헌 5인용 수 4

한 줄 요약

이 논문은 현대 딥러닝 프레임워크를 사용하여 계층적이고 컨volutional 허브안 네트워크를 효율적으로 구현할 수 있음을 보여주며, 생물학적으로 타당한 학습 규칙(예: 허브안, 인스타르, 오자 규칙)을 정확히 재현하는 특정 손실 함수를 설계함으로써 이를 달성한다. 이 방법은 특징의 열화를 방지하고 계층 간 정보를 증가시키기 위해 희소성과 프루닝과 같은 간섭 조치를 통해 다층 객체 인식 성능을 향상시킨다.

ABSTRACT

Deep learning networks generally use non-biological learning methods. By contrast, networks based on more biologically plausible learning, such as Hebbian learning, show comparatively poor performance and difficulties of implementation. Here we show that hierarchical, convolutional Hebbian learning can be implemented almost trivially with modern deep learning frameworks, by using specific losses whose gradients produce exactly the desired Hebbian updates. We provide expressions whose gradients exactly implement a plain Hebbian rule (dw ~= xy), Grossberg's instar rule (dw ~= y(x-w)), and Oja's rule (dw ~= y(x-yw)). As an application, we build Hebbian convolutional multi-layer networks for object recognition. We observe that higher layers of such networks tend to learn large, simple features (Gabor-like filters and blobs), explaining the previously reported decrease in decoding performance over successive layers. To combat this tendency, we introduce interventions (denser activations with sparse plasticity, pruning of connections between layers) which result in sparser learned features, massively increase performance, and allow information to increase over successive layers. We hypothesize that more advanced techniques (dynamic stimuli, trace learning, feedback connections, etc.), together with the massive computational boost offered by modern deep learning frameworks, could greatly improve the performance and biological relevance of multi-layer Hebbian networks.

연구 동기 및 목표

• 다층 네트워크에서의 실용적 구현을 가능하게 하여 생물학적으로 타당한 학습 규칙과 현대 딥러닝 간 격차를 메우는 것.
• 현대 딥러닝 프레임워크와의 통합을 통해 딥 네트워크에서 허브안 학습의 낮은 성능과 구현 과제를 해결하는 것.
• 딥 아키텍처에서 허브안 학습이 객체 인식 과제에서 경쟁 가능한 성능을 달성할 수 있는지 탐구하는 것.
• 높은 계층에서 간단하고 큰 특징을 학습하는 경향이 발생하여 복원 성능이 떨어지는 문제를 특정하고 이를 완화하는 것.
• 희소성과 프루닝과 같은 간섭 조치가 계층 간 특징 희소성과 정보 흐름을 어떻게 향상시킬 수 있는지 탐색하는 것.

제안 방법

• 순수한 허브안 규칙(dw ~= xy), 그로스버그의 인스타르 규칙(dw ~= y(x-w)), 오자 규칙(dw ~= y(x-yw))를 정확히 구현하는 커스터마이즈된 손실 함수 설계.
• 이 손실 함수에서 유도된 기울기를 사용하여 현대 딥러닝 프레임워크에서 기울기 역전파를 수행함으로써 다층 컨volutional 허브안 네트워크의 엔드 투 엔드 학습을 가능하게 함.
• 피라미드 구조의 컨volutional 아키텍처를 도입하여 케라믹스 처리를 모방하는 방식으로 계층별로 특징을 학습함.
• 희소성과 함께 더 높은 활성도를 도입하여 학습된 특징의 희소성을 증진하고 열화를 방지함.
• 계층 간 연결을 프루닝하여 중복을 줄이고 계층 간 정보 흐름을 향상시킴.
• 객체 인식 과제에서 네트워크를 학습하면서 계층 간 특징의 진화와 복원 성능을 모니터링함.

실험 결과

연구 질문

• RQ1 현대 딥러닝 프레임워크를 사용하여 생물학적으로 영감을 받은 허브안 학습 규칙을 딥 컨volutional 네트워크에 효과적으로 구현할 수 있는가?
• RQ2 허브안 네트워크의 높은 계층에서 왜 큰 단순한 특징을 학습하는 경향이 발생하는가? 이는 성능에 어떤 영향을 미치는가?
• RQ3 희소성과 프루닝과 같은 간섭 조치가 허브안 네트워크의 특징 희소성과 성능을 향상시킬 수 있는가?
• RQ4 적절한 간섭 조치가 적용된 경우 허브안 네트워크에서 계층 간 정보량이 증가하는가?
• RQ5 현대 딥러닝 프레임워크가 생물학적으로 타당한 딥 러닝 모델의 개발을 어느 정도 가능하게 하는가?

주요 결과

• 수정되지 않은 허브안 네트워크의 높은 계층은 Gabor 유사 필터나 반점과 같은 큰 단순한 특징을 학습하며, 이는 복원 성능 저하와 상관관계가 있음.
• 희소성과 함께 더 높은 활성도를 도입함으로써 네트워크 성능이 크게 향상되며, 이는 더 희소하고 정보량이 많은 특징을 학습하도록 유도함.
• 계층 간 연결을 프루닝함으로써 성능이 추가로 향상되고, 연속된 계층 간 정보가 증가함을 가능하게 함.
• 허브안 규칙을 정확히 구현하는 기울기 기반 손실 함수의 사용은 이러한 생물학적으로 타당한 학습 메커니즘을 현대 딥러닝 파ip라인에 간단히 통합할 수 있도록 함.
• 적절한 아키텍처 및 학습 간섭 조치를 통해 허브안 네트워크가 경쟁 가능한 성능을 달성하면서도 생물학적 타당성을 유지할 수 있음이 결과적으로 시사됨.
• 이 프레임워크는 향후 트레이스 학습과 피드백 연결과 같은 고급 기법을 생물학적으로 영감을 받은 딥 러닝에서 탐색할 수 있는 길을 열어줌.