[논문 리뷰] Structured and Deep Similarity Matching via Structured and Deep Hebbian Networks

Dina Obeid, Hugo Ramambason외 1명|arXiv (Cornell University)|2019. 10. 10.

Advanced Memory and Neural Computing인용 수 6

한 줄 요약

이 논문은 생물학적으로 타당한 局소 학습 규칙을 갖춘 딥 신경망에서 비지도 학습을 위한 구조적이고 깊이 있는 유사도 매칭 비용 함수를 제안한다. 구조적이고 깊이 있는 헤브시안/반-헤브시안 네트워크를 제안하며, 전방 및 피드백 연결에 대해 헤브시안, 횡방향 연결에 대해 반-헤브시안 학습을 적용하여 이중 최소-최대 목적함수를 최적화한다. 이는 백프로파게이션 없이도 효율적인 크레딧 할당과 계층적 특징 학습을 가능하게 하며, MNIST 및 LFW 데이터셋에서 의미 있는 특징 학습이 성공적으로 이루어지는 것을 시뮬레이션을 통해 입증한다.

ABSTRACT

Synaptic plasticity is widely accepted to be the mechanism behind learning in the brain's neural networks. A central question is how synapses, with access to only local information about the network, can still organize collectively and perform circuit-wide learning in an efficient manner. In single-layered and all-to-all connected neural networks, local plasticity has been shown to implement gradient-based learning on a class of cost functions that contain a term that aligns the similarity of outputs to the similarity of inputs. Whether such cost functions exist for networks with other architectures is not known. In this paper, we introduce structured and deep similarity matching cost functions, and show how they can be optimized in a gradient-based manner by neural networks with local learning rules. These networks extend F\\"oldiak's Hebbian/Anti-Hebbian network to deep architectures and structured feedforward, lateral and feedback connections. Credit assignment problem is solved elegantly by a factorization of the dual learning objective to synapse specific local objectives. Simulations show that our networks learn meaningful features.

연구 동기 및 목표

• 생물학적으로 타당한 국소 학습 규칙을 사용하여 딥 신경망에서 크레딧 할당 문제를 해결하는 것.
• Földiak의 단일층 헤브시안/반-헤브시안 네트워크를 전방, 피드백, 횡방향 연결을 갖춘 깊이 있고 구조적인 아키텍처로 확장하는 것.
• 계층적 특징 추출과 비지도 표현 학습을 지원하는, 구조적이고 깊이 있는 유사도 매칭이라는 네트워크 전반의 학습 목적함수를 제안하는 것.
• 이 목적함수의 기울기 기반 최적화가 국소 시냅스 가소성 규칙을 통해 백프로파게이션 없이도 가능하다는 것을 보여주는 것.
• 이 규칙으로 학습된 네트워크가 MNIST 및 LFW와 같은 실제 세계 데이터셋에서 의미 있고 분리된 특징을 학습하는가를 입증하는 것.

제안 방법

• 공간적 구조와 깊이를 포함한 전통적 유사도 매칭을 일반화한 새로운 비용 함수인 구조적이고 깊이 있는 유사도 매칭을 제안한다.
• 비용 함수를 위한 이중 최소-최대 최적화 문제를 도출하고, 이중성 이론을 사용하여 각 시냅스의 국소 목표함수로 분해한다.
• 전방 및 피드백 연결에서 헤브시안 가소성, 횡방향 연결에서 반-헤브시안 가소성을 적용한 다층 신경망을 설계한다.
• 각 시냅스의 업데이트 규칙이 오직 국소적 전후 시냅스 활동에만 의존하도록 이중성 변환을 적용하여 생물학적으로 타당한 학습을 가능하게 한다.
• 국소 학습 규칙을 적용: 헤브시안의 경우 ΔW_ij = η(r_i^* x_j - W_ij), 반-헤브시안의 경우 ΔL_ij = (η/2)(r_i^* r_j^* - L_ij)이며, 국소 역동성은 재귀 방정식으로 제어된다.
• 구조적 연결성(예: 공간적 근접성)을 갖춘 국소 연결 네트워크에 이 프레임워크를 적용하여 깊이 있는 아키텍처에서 계층적 특징 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 국소 학습 규칙을 갖춘 깊이 있고 구조적인 신경망에 대해 유사도 매칭 비용 함수를 일반화할 수 있는가?
• RQ2 백프로파게이션 없이 국소 시냅스 가소성만으로 깊이 있는 네트워크에서 크레딧 할당을 어떻게 달성할 수 있는가?
• RQ3 구조적이고 깊이 있는 유사도 매칭은 비지도 환경에서 계층적 특징 학습을 지원할 수 있는가?
• RQ4 전체 이중 목표함수를 국소 시냅스 목표함수로 분해할 수 있는가? 이때 각 목표함수는 오직 국소 변수에 의존한다.
• RQ5 이러한 규칙으로 학습된 네트워크는 실제 데이터에서 의미 있고 분리된 특징을 학습하는가?

주요 결과

• LFW 데이터셋의 시각화 결과에 따르면, 첫 번째 레이어에서 다양하고 국소화된 특징을 학습하고, 더 깊은 레이어에서 이를 조합하여 더 큰 척도의 특징을 형성하는 것으로 나타났다.
• MNIST 데이터셋에서, 각 위치당 100개의 뉴런을 사용할 경우 네트워크는 테스트 분류 오차율 1.40%를 달성하였으며, 이는 다른 생물학적으로 타당한 네트워크(예: [34]에서 1.46%)와 유사한 성능이다.
• 구조적이고 깊이 있는 유사도 매칭 비용 함수가 학습 과정 동안 감소함을 통해 학습 목표함수가 효과적으로 최적화되고 있음을 보여준다.
• 이중성에 의해 크레딧 할당 문제를 우아하게 해결함: 전역 이중 목표함수가 국소 시냅스 목표함수로 분해되어 기울기 기반 학습이 순수하게 국소 규칙만으로 가능하다.
• 대칭적인 피드백 및 횡방향 가중치는 국소 가소성에 의해 渐近적으로 학습 가능하여, 가중치 운반 문제에 대한 생물학적으로 타당한 해결책을 제공한다.
• 이 프레임워크는 Földiak의 단일층 헤브시안/반-헤브시안 네트워크를 구조적 연결성을 갖춘 깊이 있는 아키텍처로 일반화하여 계층적 표현 학습을 가능하게 한다.