[논문 리뷰] Stochastic Gradient Estimate Variance in Contrastive Divergence and Persistent Contrastive Divergence

Mathias Berglund, Tapani Raiko|arXiv (Cornell University)|2013. 12. 20.

Stochastic Gradient Optimization Techniques참고 문헌 14인용 수 3

한 줄 요약

이 논문은 제한된 볼츠만 기계를 훈련하기 위한 대trastsive Divergence (CD)와 지속적 대trastsive Divergence (PCD)에서 확률적 경사도 추정의 분산을 경험적으로 조사한다. CD-1은 정확한 샘플링보다 훨씬 낮은 경사도 추정 분산을 가지며, PCD는 상호 연관된 샘플링으로 인해 이후 추정치의 평균에서 상당히 높은 분산을 보인다. 이는 PCD가 일반적으로 CD보다 더 작은 학습률이나 더 큰 미니배치를 필요로 하는 이유를 설명한다.

ABSTRACT

Contrastive Divergence (CD) and Persistent Contrastive Divergence (PCD) are popular methods for training the weights of Restricted Boltzmann Machines. However, both methods use an approximate method for sampling from the model distribution. As a side effect, these approximations yield significantly different biases and variances for stochastic gradient estimates of individual data points. It is well known that CD yields a biased gradient estimate. In this paper we however show empirically that CD has a lower stochastic gradient estimate variance than exact sampling, while the mean of subsequent PCD estimates has a higher variance than exact sampling. The results give one explanation to the finding that CD can be used with smaller minibatches or higher learning rates than PCD.

연구 동기 및 목표

• CD와 PCD에서의 경사도 추정 분산을 조사하여 훈련 속도와 하이퍼파ram터 선택에 영향을 미치는 요인으로서의 영향을 탐구한다.
• CD에서 주장하는 낮은 분산이 근사 샘플링 때문인지 데이터 분포에 가까운 이유 때문인지 확인한다.
• PCD에서의 상호 연관된 업데이트가 경사도 추정 분산에 미치는 영향, 특히 훈련 후반 단계에서의 영향을 분석한다.
• 여러 데이터셋과 훈련 단계에서 CD, PCD, 정확한 샘플링 간의 경사도 분산을 비교한다.
• CD와 PCD 간의 학습률 요구사항의 관찰된 차이에 대한 경험적 근거를 제공한다.

제안 방법

• 이중화된 MNIST, CIFAR-10 중심 패치, Caltech 101 실루엣 세 가지 데이터셋에서 RBM을 훈련시켰다.
• CD-k (k=1에서 10까지), PCD, CD-1000(정확한 샘플링의 근사), 독립적 CD(I-CD)를 사용해 경사도 추정 분산을 평가했다.
• 각 데이터 포인트당 10개의 경사도 샘플과 10번의 무작위 가중치 초기화를 통해 각 가중치 행렬 원소의 분산을 측정했다.
• 고정된 수의 가시층 및 은닉층 뉴런을 사용했으며, 편향은 0으로, 가중치는 작은 무작위 값으로 초기화했다.
• 훈련의 10번째 및 500번째 에포크에서 경사도 추정의 분산을 계산해 훈련 중 변화를 평가했다.
• PCD를 CD-1000과 비교하기 위해, 연속된 k개의 추정치 평균에 대한 분산 비율을 계산했다.

실험 결과

연구 질문

• RQ1 CD는 정확한 샘플링보다 낮은 확률적 경사도 추정 분산을 제공하는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ2 PCD 경사도 추정의 분산은 독립적 샘플링과 비교해 어떻게 되며, 훈련 중에 증가하는가?
• RQ3 CD의 분산 우월성이 샘플링의 근사성 때문인지, 양의 입자에서의 샘플링 때문인지?
• RQ4 PCD 업데이트 간의 상관관계가 평균 경사도 추정의 분산을 얼마나 증가시키는가?
• RQ5 CD와 PCD 간의 학습률 요구사항의 관찰된 차이가 경사도 추정 분산으로 설명될 수 있는가?

주요 결과

• CD-1의 경사도 추정 분산은 정확한 샘플링보다 유의미하게 낮으며, 더 많은 CD 단계를 거치더라도 분산이 약간만 증가한다.
• CD가 정확한 샘플링보다 분산이 낮은 것은 샘플링 단계 수의 제한 때문이 아니라, 양의 입자에서 음의 입자를 샘플링하기 때문이며, 이는 주로 이 원인 때문이다.
• 독립적 CD(I-CD)에서는 분산 우월성이 사라지며, 이는 양의 입자에 가까운 위치가 CD의 낮은 분산의 핵심 요인임을 보여준다.
• 연속된 PCD 경사도 추정치의 평균은 독립적 샘플링보다 상당히 높은 분산을 보이며, 특히 훈련 후반 단계에서 두드러진다.
• CD-1의 연속된 10개의 추정치 평균은 PCD보다 수배 이상 낮은 분산을 보이며, 이는 PCD가 더 작은 학습률이나 더 큰 미니배치를 필요로 함을 시사한다.
• 결과적으로 경험적으로 CD의 빠른 수렴은 낮은 경사도 분산 덕분이며, PCD의 높은 분산은 그가 더 작은 학습률이 필요한 이유를 설명한다.