[논문 리뷰] How to Center Binary Deep Boltzmann Machines

Jan Melchior, Asja Fischer외 1명|arXiv (Cornell University)|2013. 11. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 17인용 수 3

한 줄 요약

이 논문은 이진 딥 볼츠만 기계(Deep Boltzmann Machines, DBMs)와 제한 볼츠만 기계(Restricted Boltzmann Machines, RBMs)에 중심화(centering) 기법을 도입하여, 가시층과 은닉층의 단위에서 평균값을 빼는 방식을 제안한다. 이는 학습 안정성 향상, 로그우도 성능 향상, 자연 기울기(natural gradient) 방향과의 일치를 가능하게 하며, 탐욕적 사전학습(greedy pre-training)의 필요성을 제거하고, 특히 오프셋 추정에 지수 이동 평균을 사용할 경우 생성 모델링에서 표준 RBMs/DBMs 및 향상된 기울기 방법보다 뛰어난 성능을 발휘한다.

ABSTRACT

This work analyzes centered binary Restricted Boltzmann Machines (RBMs) and binary Deep Boltzmann Machines (DBMs), where centering is done by subtracting offset values from visible and hidden variables. We show analytically that (i) centering results in a different but equivalent parameterization for artificial neural networks in general, (ii) the expected performance of centered binary RBMs/DBMs is invariant under simultaneous flip of data and offsets, for any offset value in the range of zero to one, (iii) centering can be reformulated as a different update rule for normal binary RBMs/DBMs, and (iv) using the enhanced gradient is equivalent to setting the offset values to the average over model and data mean. Furthermore, numerical simulations suggest that (i) optimal generative performance is achieved by subtracting mean values from visible as well as hidden variables, (ii) centered RBMs/DBMs reach significantly higher log-likelihood values than normal binary RBMs/DBMs, (iii) centering variants whose offsets depend on the model mean, like the enhanced gradient, suffer from severe divergence problems, (iv) learning is stabilized if an exponentially moving average over the batch means is used for the offset values instead of the current batch mean, which also prevents the enhanced gradient from diverging, (v) centered RBMs/DBMs reach higher LL values than normal RBMs/DBMs while having a smaller norm of the weight matrix, (vi) centering leads to an update direction that is closer to the natural gradient and that the natural gradient is extremly efficient for training RBMs, (vii) centering dispense the need for greedy layer-wise pre-training of DBMs, (viii) furthermore we show that pre-training often even worsen the results independently whether centering is used or not, and (ix) centering is also beneficial for auto encoders.

연구 동기 및 목표

• 데이터 비트 뒤집기 변환에 대한 불변성(invariance) 부족 문제를 해결하기 위해 RBM/DBM 학습에서의 문제를 다루기 위해.
• 가시층과 은닉층의 중심화가 학습 안정성과 모델 성능 향상에 기여하는지 조사하기 위해.
• 이진 RBMs와 DBMs에서 중심화와 자연 기울기 간의 관계를 분석하기 위해.
• DBMs에서 중심화가 탐욕적 계층별 사전학습을 대체할 수 있는지 평가하기 위해.
• 자동에코더(autoencoders)와 생성 모델링 성능에 중심화가 미치는 영향을 평가하기 위해.

제안 방법

• 중심화는 RBMs와 DBMs의 가시층 및 은닉층 변수에서 오프셋 값(가시층과 은닉층의 평균)을 빼는 방식으로 구현된다.
• 이 방법은 모델의 등가성을 유지하면서 최적화 성질을 향상시키는 등가 매개변수화 방식으로 기울기 업데이트 규칙을 재구성한다.
• 저자들은 오프셋을 데이터 평균과 모델 평균의 평균으로 설정할 경우 중심화와 향상된 기울기 방법 간의 해석적 등가성을 유도한다.
• 오프셋 값 추정을 위해 배치 평균의 지수 이동 평균을 사용하여 학습 중 발산을 방지한다.
• 이론적 분석을 통해 중심화가 다양체 기반 최적화에 최적인 자연 기울기 방향에 더 가까운 업데이트 방향을 유도함을 보여준다.
• 수치 시뮬레이션을 통해 다양한 학습 프rotocol 하에서 중심화 모델을 표준 RBMs/DBMs 및 향상된 기울기 변형과 비교한다.

실험 결과

연구 질문

• RQ1 이진 RBMs와 DBMs에서 가시층과 은닉층의 중심화가 학습 안정성과 로그우도 성능 향상에 기여하는가?
• RQ2 중심화된 RBMs/DBMs에서의 업데이트 방향이 표준 모델보다 자연 기울기와 더 가까운가?
• RQ3 중심화가 DBMs에서 탐욕적 계층별 사전학습의 필요성을 제거할 수 있는가?
• RQ4 수렴성과 생성 성능 측면에서 중심화는 향상된 기울기 방법보다 어떻게 비교되는가?
• RQ5 중심화에서 오프셋 값 추정 전략으로서 배치 평균, 이동 평균, 모델 평균 중 어떤 것이 최적인가?

주요 결과

• 중심화된 RBMs와 DBMs는 무게 행렬의 노름이 더 작더라도 표준 RBMs와 DBMs보다 유의미하게 높은 로그우도 값을 달성한다.
• 중심화는 학습을 안정화시키며, 특히 배치 평균 대신 지수 이동 평균을 사용할 경우 발산을 방지한다.
• 향상된 기울기 방법은 오프셋을 데이터 평균과 모델 평균의 평균으로 설정할 경우 중심화와 등가이지만, 이 경우 적절한 오프셋 추정이 없으면 심각한 발산을 유발한다.
• 중심화 모델은 초기 학습률과 데이터 표현에 덜 민감하면서도 표준 모델보다 더 높은 로그우도 값을 달성한다.
• 중심화는 DBMs에서 탐욕적 사전학습의 필요성을 제거하며, 중심화 여부와 관계없이 사전학습이 성능을 떨어뜨리는 것으로 밝혀졌다.
• 중심화는 자동에코더에서도 성능 향상을 이끌어내어 생성 모델 외적 응용 분야로의 광범위한 적용 가능성을 시사한다.