[논문 리뷰] On Training Deep Boltzmann Machines

Guillaume Desjardins, Aaron Courville외 1명|arXiv (Cornell University)|2012. 03. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 9인용 수 13

한 줄 요약

이 논문은 깊이 있는 볼츠만 기계(DBMs)의 공동 학습을 안정화하기 위해 간단한 노름 기반 정규화 기법을 제안한다. 이 기법은 계층 간 가중치 벡터의 크기가 유사하도록 유도함으로써, 표준 확률적 최대우도(SML) 방법이 실패하는 상황에서도 의미 있는 펜 스토크 유사 특징을 MNIST 데이터에서 학습할 수 있도록 한다. 특히, 가중치 노름 분포의 분산을 억제함으로써 모든 계층을 동시에 성공적으로 학습시킨다.

ABSTRACT

The deep Boltzmann machine (DBM) has been an important development in the quest for powerful "deep" probabilistic models. To date, simultaneous or joint training of all layers of the DBM has been largely unsuccessful with existing training methods. We introduce a simple regularization scheme that encourages the weight vectors associated with each hidden unit to have similar norms. We demonstrate that this regularization can be easily combined with standard stochastic maximum likelihood to yield an effective training strategy for the simultaneous training of all layers of the deep Boltzmann machine.

연구 동기 및 목표

• 표준 확률적 최대우도(SML) 방법을 사용한 깊이 있는 볼츠만 기계(DBMs)의 공동 학습에서 지속적인 열악한 국소 최적해 문제를 해결하기 위해.
• 모든 DBM 계층을 동시에 끝에서 끝까지 학습할 수 있도록 하여, 게으른 계층별 사전학습이 필요 없도록 하기 위해.
• 모든 은닉 유닛이 균형 있게 기여하도록 하기 위해, 계층 간 및 계층 내에서 가중치 벡터의 노름이 균일하도록 하는 정규화 전략을 개발하기 위해.
• 이 정규화 기법이 모델의 깊이나 위상적 유연성을 훼손하지 않으면서도 효과적인 특징 학습을 가능하게 하는지 보여주기 위해.

제안 방법

• 각 계층의 평균 노름에서 각 개별 가중치 벡터의 노름이 벗어나는 정도를 제곱오차 손실을 사용해 정규화 항으로 도입하기 위해.
• 이를 바탕으로 인접한 계층 간의 평균 노름 간 유사성을 강제하기 위해 추가적인 $ l^2 $ 기반 정규화 항을 도입하기 위해.
• 표준 확률적 최대우도(SML) 목적함수에 정규화 항을 통합하여, 정규화된-SML 학습 기준을 구성하기 위해.
• 안정적인 최적화를 확보하기 위해 평균 노름 매개변수 ($ \mu^{(l)} $)에 대해 별도로 느린 학습률을 사용하기 위해.
• 활성 연결을 기반으로 하위 계층의 가중치를 조합하여 학습된 필터를 시각화함으로써 계층적 특징 표현의 해석 가능성을 높이기 위해.
• 고정된 초모수를 사용해 MNIST에서 모델을 학습하고, 필터 품질과 수렴 동작을 평가하기 위해.

실험 결과

연구 질문

• RQ1 깊이 있는 볼츠만 기계의 모든 계층을 게으른 계층별 사전학습 없이도 공동 학습을 안정화시킬 수 있는가?
• RQ2 왜 표준 확률적 최대우도 방법은 특히 첫 번째 은닉 계층에서 깊이 있는 볼츠만 기계를 효과적으로 학습시키지 못하는가?
• RQ3 계층 간 및 계층 내에서 가중치 벡터의 노름을 균일하게 유지하는 것이 모델 학습과 특징 학습을 향상시키는가?
• RQ4 이 정규화 기법을 두 개 또는 세 개 이상의 계층을 초월하는 더 깊은 DBMs에 확장할 수 있는가?
• RQ5 이 정규화 기법이 가시층과 은닉층의 학습된 필터의 품질과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• MNIST에서 3계층 DBM을 표준 SML로 학습한 결과, 첫 번째 계층의 많은 필터들이 매우 작은 노름을 가지며, 잡음처럼 보여 모델에 거의 기여하지 못한다.
• 제안된 정규화 기법은 각 계층에 500개의 뉴런을 가진 2계층 DBM을 성공적으로 학습시켰으며, 첫 번째 계층 필터들이 펜 스토크 감지기와 유사한 형태를 띠어 의미 있는 특징 학습을 보여준다.
• 정규화된 모델의 두 번째 계층 필터들은 하위 계층의 특징들을 조합하여 더 복잡한 숫자 유사 패턴을 형성하며, 계층적 표현 학습을 보여준다.
• 정규화 기법은 가중치 노름의 분산이 높은 열악한 국소 최적해로의 붕괴를 방지함으로써 학습을 안정화시킨다.
• 사전학습 없이도 공동 학습이 가능해져, 상위 계층이 하위 계층 필터의 학습에 영향을 미치며 위상적 유연성을 유지한다.
• 이 방법은 다양한 학습률과 배치 크기에서 효과적이며, 더 깊은 아키텍처로의 확장 가능성은 보여주지만, 깊은 실험은 향후 연구로 남겨진다.