[논문 리뷰] On the mapping between Hopfield networks and Restricted Boltzmann Machines

Matthew Smart, Anton Zilman|arXiv (Cornell University)|2021. 01. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 4

한 줄 요약

이 논문은 상관된 이진 패턴을 가진 헉플드 네트워크(HNs)와 이진 visible 단위와 가우시안 hidden 단위를 가진 제한된 볼츠만 기계(RBMs) 사이의 정확한 매핑을 제시한다. 이는 HN의 가중치를 RBM의 가중치 초기화로 직접 변환할 수 있도록 하며, 훈련 성능에 상당한 이점을 제공한다. 특히 MNIST 데이터에서, 최소한의 훈련 후에도 랜덤 초기화된 모델보다 HN으로 초기화된 RBM이 뛰어난 성능을 보인다.

ABSTRACT

Hopfield networks (HNs) and Restricted Boltzmann Machines (RBMs) are two important models at the interface of statistical physics, machine learning, and neuroscience. Recently, there has been interest in the relationship between HNs and RBMs, due to their similarity under the statistical mechanics formalism. An exact mapping between HNs and RBMs has been previously noted for the special case of orthogonal (uncorrelated) encoded patterns. We present here an exact mapping in the case of correlated pattern HNs, which are more broadly applicable to existing datasets. Specifically, we show that any HN with $N$ binary variables and $p<N$ arbitrary binary patterns can be transformed into an RBM with $N$ binary visible variables and $p$ gaussian hidden variables. We outline the conditions under which the reverse mapping exists, and conduct experiments on the MNIST dataset which suggest the mapping provides a useful initialization to the RBM weights. We discuss extensions, the potential importance of this correspondence for the training of RBMs, and for understanding the performance of deep architectures which utilize RBMs.

연구 동기 및 목표

• 임의의(상관된) 이진 패턴에 대해 헉플드 네트워크와 RBMs 사이의 정확한 대응 관계를 수립함으로써, 이전 연구에서 제한된 직교 패턴에만 적용된 결과를 확장한다.
• HN에서 유래한 가중치 초기화를 활용하여 실용적인 RBM 훈련 개선을 가능하게 한다.
• HN으로의 역매핑을 특성화하고, 정확한 역매핑이 불가능한 경우 근사 재구성에 대한 행렬 분해 방법을 제시한다.
• 이 매핑이 생성 및 분류 작업에서 성능을 유지하거나 향상시키면서도 훈련 시간과 모델 크기를 줄이는 데의 유용성을 입증한다.

제안 방법

• 논문은 $N$개의 이진 단위와 $p < N$개의 임의의 이진 패턴을 가진 헉플드 네트워크에서, $N$개의 이진 visible 단위와 $p$개의 가우시안 hidden 단위를 가진 RBM으로의 정확한 변환을 유도한다.
• 매핑는 투영 규칙 $\mathbf{J} = \bm{\xi}(\bm{\xi}^T\bm{\xi})^{-1}\bm{\xi}^T$ 를 사용하여 HN 해밀토니안을 정의하며, 이를 등가의 RBM 에너지 함수로 재표현한다.
• RBM는 visible 단위가 HN의 스핀을 나타내고, hidden 단위가 패턴 투영을 나타내도록 구성되며, 이의 가중치 행렬은 HN의 상호작용 행렬과 일치한다.
• 역매핑은 행렬 분해를 통해 분석되며, HN이 RBM에서 재구성될 수 있는 조건이 도출된다.
• 이 방법은 RBM 표현을 통해 스핀을 합산함으로써 HN의 분할 함수를 효율적으로 계산할 수 있도록 한다.
• 실험은 MNIST 데이터를 사용하여 초기화를 검증한다: HN 가중치는 직교화되고 RBM 가중치의 초기화로 사용되며, 이후 생성 및 분류 작업에서의 훈련과 평가가 수행된다.

실험 결과

연구 질문

• RQ1 임의의(비직교) 이진 패턴에 대해 헉플드 네트워크와 RBMs 사이에 정확한 매핑를 수립할 수 있는가? 이는 이전 연구에서 제한된 무상관 패턴의 특수 케이스를 넘어서는가?
• RQ2 RBM에서 HN으로의 역매핑이 가능한 조건는 무엇이며, 정확한 재구성이 실패할 경우 이를 어떻게 근사적으로 구현할 수 있는가?
• RQ3 HN에서 RBM으로의 매핑이 랜덤 또는 기타 히우리스틱 초기화보다 RBM 훈련을 위한 우수한 초기화를 제공하는가?
• RQ4 HN 기반 초기화는 실생활 데이터셋인 MNIST에서 훈련 효율성과 모델 성능에 어떤 영향을 미치는가?
• RQ5 이 대응관계는 딥 빌리프 네트워크나 딥 볼츠만 머신과 같은 RBM 기반의 딥 아키텍처의 성능 향상에 기여할 수 있는가?

주요 결과

• HN에서 RBM으로의 매핑는 $N$개의 이진 단위와 $p < N$개의 임의의 이진 패턴을 가진 모든 헉플드 네트워크를, $N$개의 이진 visible 단위와 $p$개의 가우시안 hidden 단위를 가진 RBM으로 정확하게 변환할 수 있다.
• RBM에서 HN으로의 역매핑은 특정 조건에서만 가능하며, 정확한 재구성이 실패할 경우 행렬 분해를 통해 근사적인 HN을 구성할 수 있다.
• MNIST 데이터셋에서, 직교화된 HN 가중치로 초기화된 RBM은 단 1회 에포크 후에 $3.0\%$의 훈련 오차를 기록하며, 50회 에포크 후에 랜덤 초기화된 모델보다 뛰어난 성능을 보였다.
• 단지 $k=10$개의 hidden 단위를 사용할 경우에도, HN으로 초기화된 PoE 모델은 매 훈련 에포크에서 $k=100$ 랜덤 초기화된 PoE 모델과 동일하거나 더 뛰어난 성능을 보였다.
• $k=100$개의 HN으로 초기화된 RBM은 훈련 없이도 $4.4\%$의 테스트 오차를 기록하였으며, 이는 50회 훈련된 $k=100$ 랜덤 초기화된 RBM보다 뛰어난 성능을 보였다.
• HN 기반 초기화는 생성 모델링 및 분류 작업 모두에서 더 빠른 수렴과 향상된 성능을 이끌어내며, 더 작은 모델이 더 큰, 더 오랜 시간 훈련된 모델의 성능을 따라하거나 초월할 수 있도록 한다.