[논문 리뷰] Deep Learning the Ising Model Near Criticality

Alan Morningstar, Roger G. Melko|arXiv (Cornell University)|2017. 08. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 55

한 줄 요약

본 논문은 임계점 근처에서 2D Ising 모델을 학습하기 위해 얕은 생성 모델과 깊은 생성 모델(RBMs 및 그 심층 확장 버전)을 비교하고, 정확도는 주로 첫 번째 숨겨진 계층의 크기에 의존하며 네트워크 깊이에 의존하지 않는다는 것을 발견한다.

ABSTRACT

It is well established that neural networks with deep architectures perform better than shallow networks for many tasks in machine learning. In statistical physics, while there has been recent interest in representing physical data with generative modelling, the focus has been on shallow neural networks. A natural question to ask is whether deep neural networks hold any advantage over shallow networks in representing such data. We investigate this question by using unsupervised, generative graphical models to learn the probability distribution of a two-dimensional Ising system. Deep Boltzmann machines, deep belief networks, and deep restricted Boltzmann networks are trained on thermal spin configurations from this system, and compared to the shallow architecture of the restricted Boltzmann machine. We benchmark the models, focussing on the accuracy of generating energetic observables near the phase transition, where these quantities are most difficult to approximate. Interestingly, after training the generative networks, we observe that the accuracy essentially depends only on the number of neurons in the first hidden layer of the network, and not on other model details such as network depth or model type. This is evidence that shallow networks are more efficient than deep networks at representing physical probability distributions associated with Ising systems near criticality.

연구 동기 및 목표

• 임계점에 가까운 물리적 분포에 대해 심층 신경망이 얕은 네트워크에 비해 표현 효율성을 제공하는지 평가한다.
• 각 다양한 생성 모델이 2D Ising 모델의 물리적 관측량(에너지와 열용량)을 얼마나 잘 재현하는지 정량화한다.
• 네트워크 아키텍처(깊이와 너비)가 임계점 근처의 재구성 정확도에 어떤 영향을 미치는지 결정한다.

제안 방법

• Monte Carlo 샘플의 2D Ising 모델에 대해 얕은 및 깊은 생성 모델(RBM, DBM, DBN, DRBN)을 학습시킨다.
• 학습 기간 동안 CD-k contrastive divergence를 사용해 가중치와 바이어스를 업데이트한다.
• 생성된 샘플을 이용해 에너지와 열용량 등 관측량 추정치를 계산하여 학습된 모델을 평가한다.
• 총 자원(은닉 유닛)을 비슷하게 유지하고 1번째 은닉층의 너비에 따른 의존성을 분석하여 아키텍처 간 성능을 비교한다.
• 정확도를 Tc 근처에서 평가하기 위해 정확한 Monte Carlo 값(T_c ≈ 2.2693)을 참고한다.

실험 결과

연구 질문

• RQ1 임계점에 근처의 Ising 분포를 표현하는 정확도가 네트워크 깊이를 늘리면 향상되는가?
• RQ2 생성된 물리적 관측량의 정확도가 첫 번째 숨겨진 계층의 크기에 더 민감한가 아니면 다른 아키텍처 세부사항에 더 민감한가?
• RQ3 이 물리 문제에 대해 깊은 생성 모델(DBM/DBN/DRBN)이 얕은 RBM에 비해 이점이 있는가?
• RQ4 온도에 따라 성능이 어떻게 달라지며 특히 Tc 근처에서 어떤가?
• RQ5 이 Ising 모델 맥락에서 정확한 표현을 위한 사이트당 은닉 단위의 상한은 무엇인가?

주요 결과

• 물리적 관측량(E와 C)을 재현하는 정확도는 첫 번째 층의 은닉 유닛이 늘어날수록 향상된다.
• 같은 총 은닉 유닛 수를 가진 두 개의 심층 모델은 자원이 비슷하게 배분될 때 얕은 RBM보다 성능이 떨어질 수 있어, 임계점 근처에서 깊이가 명확한 효율 이점을 제공하지 않음을 시사한다.
• 고정된 첫 번째 층 크기에서 두 번째 은닉층을 늘려도 일관되게 정확도가 향상되지는 않는다.
• 아키텍처가 층 크기로 매치될 때 모델 타입(RBM 대 DBM/DBN/DRBN)은 정확도에 거의 영향을 미치지 않는다.
• N_h1 = N인 RBM(전폭)은 온도에 걸쳐 분포를 정확히 포착하지만, 더 작은 N_h1은 Tc 근처에서 실패할 수 있다.