[논문 리뷰] A walk in the statistical mechanical formulation of neural networks

Elena Agliari, Adriano Barra외 3명|arXiv (Cornell University)|2014. 07. 20.

Neural Networks and Applications참고 문헌 30인용 수 5

한 줄 요약

이 논문은 페로자성 및 스핀거스 모델을 통해 두 가지 별개의 길로 히브의 학습 법칙을 유도함으로써 신경망에 통계역학적 기반을 마련한다. 이는 히브필드 네트워크(재구성)와 볼츠만 기계(학습) 간의 열역학적 동등성을 입증하며, 페로자성 체계를 작동 증폭기로, 반페로자성 체계를 플립플롭으로 매핑하여 이론물리학과 공학적 응용(로봇공학 및 인지과학) 간의 구체적 다리를 구축한다.

ABSTRACT

Neural networks are nowadays both powerful operational tools (e.g., for pattern recognition, data mining, error correction codes) and complex theoretical models on the focus of scientific investigation. As for the research branch, neural networks are handled and studied by psychologists, neurobiologists, engineers, mathematicians and theoretical physicists. In particular, in theoretical physics, the key instrument for the quantitative analysis of neural networks is statistical mechanics. From this perspective, here, we first review attractor networks: starting from ferromagnets and spin-glass models, we discuss the underlying philosophy and we recover the strand paved by Hopfield, Amit-Gutfreund-Sompolinky. One step forward, we highlight the structural equivalence between Hopfield networks (modeling retrieval) and Boltzmann machines (modeling learning), hence realizing a deep bridge linking two inseparable aspects of biological and robotic spontaneous cognition. As a sideline, in this walk we derive two alternative (with respect to the original Hebb proposal) ways to recover the Hebbian paradigm, stemming from ferromagnets and from spin-glasses, respectively. Further, as these notes are thought of for an Engineering audience, we highlight also the mappings between ferromagnets and operational amplifiers and between antiferromagnets and flip-flops (as neural networks -built by op-amp and flip-flops- are particular spin-glasses and the latter are indeed combinations of ferromagnets and antiferromagnets), hoping that such a bridge plays as a concrete prescription to capture the beauty of robotics from the statistical mechanical perspective.

연구 동기 및 목표

• 통계역학을 통해 신경망의 패턴 재구성(Hopfield 네트워크)과 학습(Boltzmann 기계) 이론적 프레임워크를 통합한다.
• 히브의 원래 신경생물학적 기반을 초월해, 페로자성 및 스핀거스 체계를 통한 다른 물리적 경로를 통해 히브의 학습 법칙을 재도출한다.
• 이론물리학과 공학 간의 다리를 놓기 위해 통계역학 모델과 전자 부품(op-amps 및 플립플롭) 간의 구체적이고 일대일 매핑을 수립한다.
• 페로자성 및 반페로자성 체계를 포함하는 유리체계가 자유 에너지 최소값을 통해 광범위한 패턴 저장을 자연스럽게 지원함으로써 연상 기억을 가능하게 한다는 것을 입증한다.
• 기초적인 통계역학 원리가 실용적 신경망 행동과 전자 회로에 어떻게 뿌리내리고 있는지 보여줌으로써 공학자들과 비이론 물리학자들에게 영감을 주기 위함이다.

제안 방법

• 신경망을 통계역학을 사용해 스핀 체계로 형식화하고, 뉴런을 이징형 역학을 갖는 스핀으로 간주한다.
• 평균장 근사를 적용하여 스핀거스 체계의 분할함수로부터 히브필드 네트워크를 유도하고, 이가 주항목에서 볼츠만 기계와 동치임을 보여준다.
• 엔트로피 최대화 원리에 따라 저장된 패턴과 스핀의 정렬을 극대화함으로써 페로자성 직관을 통해 히브의 법칙을 도출한다.
• 다중 균형 상태가 저장된 패턴에 대응하는 자유 에너지 경로를 분석함으로써 스핀거스의 괴리 현상에 기반해 히브의 법칙을 도출한다.
• 페로자성 질서를 신호 증폭(운용증폭기)으로, 반페로자성 질서를 이진 메모리(플립플롭)로 매핑하여 스핀 체계와 전자 부품 간의 연결을 맺는다.
• 분할된 분할함수를 갖는 이원 스핀거스 모델(Boltzmann 기계)을 사용하여, 그 주요 기여가 히브 모델과 등가임을 보여준다.

실험 결과

연구 질문

• RQ1 히브의 원래 신경생물학적 논거를 초월해, 통계역학 원리로부터 히브의 학습 법칙을 어떻게 도출할 수 있는가?
• RQ2 히브필드 네트워크(재구성)와 볼츠만 기계(학습) 간의 열역학적 관계는 무엇이며, 통계역학은 어떻게 이들을 통합하는가?
• RQ3 페로자성 및 스핀거스 체계 각각이 히브의 법칙을 도출하는 데 어떻게 별개의 물리적 경로를 제공하며, 각각의 물리적 해석은 무엇인가?
• RQ4 스핀 체계가 어떻게 운용증폭기 및 플립플롭과 같은 전자 부품으로 매핑될 수 있으며, 이는 실용적 신경망 설계를 어떻게 지원하는가?
• RQ5 스핀거스 체계의 괴리 현상은 어떻게 광범위한 패턴 수를 저장하는 데 기여하며, 이는 연상 기억과 어떻게 관련되는가?

주요 결과

• 히브의 학습 법칙은 엔트로피 최대화 및 저장된 패턴과의 스핀 정렬을 극대화함으로써 페로자성 체계에서 재도출된다.
• 히브의 학습 법칙은 또한 다중 준안정 상태가 각각 저장된 패턴에 대응하는 자유 에너지 경로의 최소화를 통해 스핀거스 체계에서 재도출된다.
• 볼츠만 기계(학습 모델)는 주항목 기여가 히브필드 네트워크(재구성 모델)와 동일함을 입증하여 열역학적 동등성을 증명한다.
• 볼츠만 기계의 분할함수는 평균장 근사를 통해 분할 가능해지며, 이는 저장된 패턴의 외적 곱에 비례하는 결합을 갖는 히브 유사 해밀토니안을 유도한다.
• 페로자성 체계는 집단적 스핀 정렬을 통해 신호 증폭 능력을 지녀 운용증폭기로 매핑된다.
• 반페로자성 체계는 이진, 안정적이고 스위칭 가능한 상태를 지녀 디지털 메모리를 모방하므로 플립플롭으로 매핑된다.