[논문 리뷰] Learning Feature Hierarchies with Centered Deep Boltzmann Machines

Grégoire Montavon, Klaus‐Robert Müller|arXiv (Cornell University)|2012. 03. 16.

Generative Adversarial Networks and Image SynthesisComputer Science참고 문헌 17인용 수 20

한 줄 요약

이 논문은 중심화된 상태를 사용하여 에너지 함수를 재매arameter화함으로써 최적화 안정성을 향상시키는 중심화된 딥 볼츠만 머신(C-DBM)을 제안한다. 시그모이드 출력을 오프셋 파라미터를 통해 중심화함으로써 헤시안 행렬의 조건이 향상되어, 그로우팅 전훈 없이도 깊은 층의 공동 훈련이 성공적으로 가능해지며, 이는 빠른 수렴, 향상된 생성 모델링 및 MNIST 데이터에서 더 풍부한 계층적 특징 표현을 이끈다.

ABSTRACT

Deep Boltzmann machines are in principle powerful models for extracting the hierarchical structure of data. Unfortunately, attempts to train layers jointly (without greedy layer-wise pretraining) have been largely unsuccessful. We propose a modification of the learning algorithm that initially recenters the output of the activation functions to zero. This modification leads to a better conditioned Hessian and thus makes learning easier. We test the algorithm on real data and demonstrate that our suggestion, the centered deep Boltzmann machine, learns a hierarchy of increasingly abstract representations and a better generative model of data.

연구 동기 및 목표

• 딥 볼츠만 머신에서의 공동 훈련의 불안정성과 열악한 수렴 문제를 해결하기 위해.
• 시그모이드 활성화 함수의 출력을 중심화함으로써 최적화 과정 중 헤시안 행렬의 조건을 향상시키기 위해.
• 그로우팅 전훈 없이도 깊이 있는 생성 모델에서 계층적 표현을 효과적으로 학습할 수 있도록 하기 위해.
• 중심화가 실제 데이터에서 더 나은 분류 특징과 향상된 생성 모델링 능력을 제공하는지 평가하기 위해.
• 파라미터 중심화가 딥 볼츠만 머신에서 표현 품질과 훈련 동역학에 미치는 영향을 조사하기 위해.

제안 방법

• 각 유닛당 오프셋 파라미터 β를 사용하여 중심화된 상태 ξ = x − β를 이용해 에너지 함수를 재매arameter화한다.
• 헤시안 조건을 향상시키기 위해 중심화된 상태를 사용하여 모델의 로그우도 기울기를 재작성한다.
• 초기 오프셋 β = sigm(b₀)로 설정하여 시그모이드 출력의 초기 중심화를 강제한다.
• 재매arameter화 하에 기브스 분포의 불변성을 유지함으로써 모델의 동등성을 확보한다.
• 가중치 및 편향 업데이트를 중심화된 상태를 사용하도록 수정하여 중심화된 DBM을 구현한다.
• 선형 역투영을 사용하여 DBM의 첫 번째 및 두 번째 층에서 학습된 필터를 시각화한다.

실험 결과

연구 질문

• RQ1 딥 볼츠만 머신에서 시그모이드 출력을 중심화함으로써 헤시안 조건이 향상되고 최적화 안정성이 향상되는가?
• RQ2 중심화된 DBM은 그로우팅 전훈 없이도 계층적 표현을 성공적으로 학습할 수 있는가?
• RQ3 중심화는 DBM의 첫 번째 및 두 번째 층에서 학습된 필터의 다양성과 품질에 어떤 영향을 미치는가?
• RQ4 중심화는 상위 레이어 표현의 분류 능력을 어느 정도 향상시키는가?
• RQ5 중심화는 생성 샘플의 생성 품질과 클래스 균형에 어떤 영향을 미치는가?

주요 결과

• 비중심화된 대비 중심화된 DBM은 훈련 수렴이 더 빠르고 안정적이며, 훈련 발산이 감소한다.
• 중심화는 더 나은 조건을 가진 헤시안을 이끌어내어 최적화 과정의 수렴 행동을 향상시킨다.
• 100 에포크 후 중심화된 DBM의 상위 레이어 표현은 레이블과 관련된 명확한 클러스터를 형성하며 효과적인 특징 학습을 나타낸다.
• 비중심화된 DBM은 상위 레이어 표현을 저차원 다각형으로 압축하여 유용한 분류 특징를 손실한다.
• 중심화된 DBM의 두 번째 레이어 필터는 비중심화된 버전보다 훨씬 더 높은 다양성을 보이며 더 풍부한 특징 추상화를 나타낸다.
• 중심화된 DBM은 더 균형 잡히고 현실적인 샘플을 생성하여 비중심화 모델에서 관찰된 클래스 불균형 문제를 피한다.