[논문 리뷰] Unsupervised Learning in Synaptic Sampling Machines.

Emre Neftci, Bruno U. Pedroni외 3명|arXiv (Cornell University)|2015. 11. 14.

Advanced Memory and Neural Computing참고 문헌 21인용 수 12

한 줄 요약

논문은 합성시냅스 샘플링 기계(SSM)를 제안한다. SSM은 합성시냅스의 비신뢰성에 기반해 표본 기반의 확률적 특성을 유도하는 스파iking 신경망으로, 이벤트 기반의 대trastive divergence 규칙을 통해 효율적인 비지도 학습을 가능하게 한다. SSM은 MNIST에서 4.4%의 오차율을 달성하여 제한된 볼츠만 기계를 능가하며, 최대 80% 이상의 가중치 프루닝에도 거의 정확도 손실 없이 내구성을 유지한다.

ABSTRACT

Recent studies have shown that synaptic unreliability is a robust and sufficient mechanism for inducing the stochasticity observed in cortex. Here, we introduce the Synaptic Sampling Machine (SSM), a stochastic neural network model that uses synaptic unreliability as a means to stochasticity for sampling. Synaptic unreliability plays the dual role of an efficient mechanism for sampling in neuromorphic hardware, and a regularizer during learning akin to DropConnect. Similar to the original formulation of Boltzmann machines, the SSM can be viewed as a stochastic counterpart of Hopfield networks, but where stochasticity is induced by a random mask over the connections. The SSM is trained to learn generative models with a synaptic plasticity rule implementing an event-driven form of contrastive divergence. We demonstrate this by learning a model of MNIST hand-written digit dataset, and by testing it in recognition and inference tasks. We find that SSMs outperform restricted Boltzmann machines (4.4% error rate vs. 5%), they are more robust to overfitting, and tend to learn sparser representations. SSMs are remarkably robust to weight pruning: removal of more than 80% of the weakest connections followed by cursory re-learning causes only a negligible performance loss on the MNIST task (4.8% error rate). These results show that SSMs offer substantial improvements in terms of performance, power and complexity over existing methods for unsupervised learning in spiking neural networks, and are thus promising models for machine learning in neuromorphic execution platforms.

연구 동기 및 목표

• 스파iking 신경망에서 생물학적으로 타당하고 에너지 효율적인 비지도 학습 방법을 개발하기 위해 합성시냅스의 비신뢰성을 확률적 특성의 근원으로 활용한다.
• 저비용의 계산 및 메모리 오버헤드를 유지하면서도 확률적 네트워크에서 생성 모델링을 가능하게 하는 학습 규칙을 설계한다.
• 표준 벤치마크 작업(예: MNIST 분류)에서 모델의 성능 및 내구성을 평가한다.
• 합성시냅스의 비신뢰성이 DropConnect와 유사한 정규화 요소로 작용할 잠재력을 조사한다. 이는 일반화 능력 향상과 표현의 희소성 향상에 기여할 수 있다.

제안 방법

• SSM은 스토케스틱한 동료로 간주되는 호프필드 네트워크의 확률적 변형으로 정의되며, 합성시냅스 연결에 무작위 이진 마스크를 적용하여 합성시냅스의 비신뢰성을 시뮬레이션함으로써 확률적 특성이 발생한다.
• 합성시냅스의 가소성은 이벤트 기반의 대비 기울기 규칙을 통해 실현되며, 이는 최소한의 계산 비용으로 온라인 학습을 가능하게 한다.
• 모델은 입력 데이터의 표현을 생성적으로 학습하기 위해, 데이터 분포와 모델 분포 간의 차이를 최소화하도록 합성시냅스 가중치를 조정한다.
• 네트워크는 각 합성시냅스가 가중치에 의해 결정된 확률로 스파이크를 독립적으로 전송하는 표본 추출 메커니즘을 사용한다. 이는 통제된 확률적 특성을 도입한다.
• 학습 규칙은 모델 하에 데이터의 로그우도의 기울기에서 유도되며, 스파이킹 다이내믹스와 이벤트 기반 업데이트에 적응된 형태로 개선되었다.
• 아키텍처는 생성 목표를 위해 MNIST 데이터셋에서 엔드 투 엔드로 훈련되며, 훈련 후 추론 및 인식 작업이 평가된다.

실험 결과

연구 질문

• RQ1 합성시냅스의 비신뢰성이 신경망에서 표본 기반 학습을 위한 효과적이고 효율적인 확률적 특성 근원으로 기능할 수 있는가?
• RQ2 전통적인 생성 모델인 제한된 볼츠만 기계와 비교해 SSM은 표준 벤치마크 작업에서 어떤 성능을 보이는가?
• RQ3 SSM은 극단적인 가중치 프루닝 상황에서 얼마나 잘 일반화되는가? 그리고 최소한의 재학습으로도 성능 유지가 가능한가?
• RQ4 합성시냅스의 비신뢰성이 학습 도중 정규화 요소로 작용하여 일반화 능력 향상과 표현의 희소성 향상에 기여하는가?

주요 결과

• SSM은 MNIST 숫자 인식 작업에서 4.4%의 오차율을 달성하여, 5% 오차율을 기록한 제한된 볼츠만 기계를 능가한다.
• SSM은 과적합에 대해 뛰어난 내구성을 보이며, 기준 모델보다 더 희소한 표현을 학습한다.
• 가장 약한 합성시냅스 연결의 80% 이상을 제거한 후에도 SSM은 성능 저하가 거의 없으며, 단순 재학습 후 4.8%의 오차율을 기록한다.
• 모델이 합성시냅스의 비신뢰성에 의존함으로써 뉴모르픽 하드웨어에서 효율적으로 구현 가능해져 전력 소모와 복잡도를 감소시킨다.
• 이벤트 기반 학습 규칙은 최소한의 계산 오버헤드로 저지연, 온라인 훈련을 가능하게 한다.
• 합성시냅스의 비신뢰성에 의해 유도된 확률적 특성은 정규화 요소로 작용하여 일반화 능력을 향상시키고, 희소한 특징 학습을 촉진한다.