[논문 리뷰] Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey

Benyamin Ghojogh, Ali Ghodsi외 2명|arXiv (Cornell University)|2021. 07. 26.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 튜토리얼 및 서베이 논문은 제한된 볼츠만 기계(RBMs)와 딥 베이지안 네트워크(DBNs)에 대한 종합적인 개요를 제공하며, 통계역학과 확률적 그래픽 모델의 이론적 기초를 설명하고, 대비 분열 및 지브스 샘플링을 통한 훈련 방법을 상세히 기술하며, 게으른 사전 훈련과 최적화를 통한 딥 러닝 응용 사례를 제시한다. 주요 기여는 RBM 및 DBN 아키텍처에 대한 통합적이고 접근성 있는 가이드로, 현대 딥 러닝의 돌풍 이전에 기울어짐 기울기 문제를 해결하고 깊이 있는 생성 모델을 가능하게 한 바를 강조한다.

ABSTRACT

This is a tutorial and survey paper on Boltzmann Machine (BM), Restricted Boltzmann Machine (RBM), and Deep Belief Network (DBN). We start with the required background on probabilistic graphical models, Markov random field, Gibbs sampling, statistical physics, Ising model, and the Hopfield network. Then, we introduce the structures of BM and RBM. The conditional distributions of visible and hidden variables, Gibbs sampling in RBM for generating variables, training BM and RBM by maximum likelihood estimation, and contrastive divergence are explained. Then, we discuss different possible discrete and continuous distributions for the variables. We introduce conditional RBM and how it is trained. Finally, we explain deep belief network as a stack of RBM models. This paper on Boltzmann machines can be useful in various fields including data science, statistics, neural computation, and statistical physics.

연구 동기 및 목표

• 기계 학습 및 데이터 과학 분야의 연구자들을 대상으로 볼츠만 기계(BMs), 제한된 볼츠만 기계(RBMs), 딥 베이지안 네트워크(DBNs)에 대한 종합적인 튜토리얼 및 서베이를 제공하는 것.
• 통계역학, 이징 모델, 허프힐드 네트워크의 기초 개념을 현대적 RBM 및 DBN 아키텍처로 연결하는 것.
• 최대우도 추정, 대비 분열, 지브스 샘플링을 사용한 RBM 훈련 메커니즘을 설명하여 생성 모델링을 위한 것.
• DBNs가 게으른 계층별 사전 훈련과 이후 역전파를 통한 최적화를 통해 딥 러닝을 가능하게 하는 방식을 보여주는 것.
• RBMs 및 DBNs가 기울어짐 기울기 문제를 극복하고 2006년 이후 딥 네트워크의 부흥을 가능하게 한 역사적 의의를 부각하는 것.

제안 방법

• 볼츠만/지브스 분포와 통계역학 원리를 사용하여 BM 및 RBM의 에너지 기반 모델 수식을 유도한다.
• RBMs에서의 가시층 및 은닉층 단위의 조건부 분포를 설명하여 공동 확률 모델링을 가능하게 한다.
• RBMs에서의 가시층 및 은닉층 변수 생성을 위한 지브스 샘플링 방법을 상세히 기술하며, 이는 모델 샘플링 및 훈련의 기초가 된다.
• 대비 분열을 도입하여 RBM의 최대우도 훈련을 효율적인 근사 방법으로 제공함으로써 계산 비용을 감소시킨다.
• DBNs의 게으른 계층별 사전 훈련 알고리즘을 제시하며, 각 계층이 RBM으로 훈련된 후 역전파를 통한 최적화가 이루어지는 방식을 설명한다.
• 조건부 RBMs(CRBMs)와 그 구조 예측 작업을 위한 훈련 방법을 기술하여 RBM의 능력을 확장한다.

실험 결과

연구 질문

• RQ1 RBMs와 DBNs는 에너지 기반 학습의 맥락에서 이징 모델과 허프힐드 네트워크에서 어떻게 발전되었는가?
• RQ2 대비 분열은 최대우도 추정의 근사치를 통해 RBM의 효율적 훈련을 어떻게 가능하게 하는가?
• RQ3 DBNs의 게으른 사전 훈련은 깊이 있는 네트워크에서 기울어짐 기울기 문제를 어떻게 완화하는가?
• RQ4 RBMs와 DBNs는 자동에코더 아키텍처를 통해 어떤 방식으로 구조 예측 및 차원 축소에 적응할 수 있는가?
• RQ5 RBMs, DBNs 및 헬름홀츠 기계나 딥 볼츠만 기계와 같은 다른 에너지 기반 모델 간의 주요 이론적 및 실용적 차이점은 무엇인가?

주요 결과

• RBMs와 DBNs는 게으른 사전 훈련을 통한 효과적인 가중치 초기화를 통해 깊이 있는 네트워크에서 기울어짐 기울기 문제를 극복하는 데 핵심적인 역할을 하였다.
• 대비 분열은 양의 단계와 음의 단계의 데이터 분포 간의 차이를 최소화하여 RBM의 효율적이고 근사적인 최대우도 훈련을 가능하게 한다.
• DBNs는 대칭적 인코더-디코더 아키텍처를 통해 데이터의 저차원 표현을 학습함으로써 차원 축소를 위한 깊이 있는 오토에코더로 사용될 수 있다.
• 음성 인식 및 동작 인식과 같은 응용 분야에서 DBNs의 성공은 복잡한 고차원 데이터를 효과적으로 모델링할 수 있음을 보여주며, 현대 딥 러닝 프레임워크의 부상 이전의 성과이다.
• 현대 딥 러닝에서 ReLU와 드롭아웃의 지배적인 지위에 비해 RBMs와 DBNs는 2006년 이후 딥 네트워크의 부흥을 위한 이론적 및 실용적 기반을 마련하였다.