[논문 리뷰] Sparse Group Restricted Boltzmann Machines

Heng Luo, Ruimin Shen외 1명|arXiv (Cornell University)|2010. 08. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 32

한 줄 요약

이 논문은 은닉 유닛의 활성화 확률에 $l_1/l_2$ 정규화를 적용하여 군집 수준과 개별 유닛 수준에서 희소성을 유도하는 희소 그룹 제한 버즈 머신(SG-RBMs)을 제안한다. 이 방법은 생성 모델링과 특징 학습을 향상시키며, 두 층으로 구성된 희소 그룹 딥 버즈 머신을 사용하여 순열 불변 MNIST 작업에서 최고 수준의 0.84% 오차율을 달성한다.

ABSTRACT

Since learning is typically very slow in Boltzmann machines, there is a need to restrict connections within hidden layers. However, the resulting states of hidden units exhibit statistical dependencies. Based on this observation, we propose using $l_1/l_2$ regularization upon the activation possibilities of hidden units in restricted Boltzmann machines to capture the loacal dependencies among hidden units. This regularization not only encourages hidden units of many groups to be inactive given observed data but also makes hidden units within a group compete with each other for modeling observed data. Thus, the $l_1/l_2$ regularization on RBMs yields sparsity at both the group and the hidden unit levels. We call RBMs trained with the regularizer \emph{sparse group} RBMs. The proposed sparse group RBMs are applied to three tasks: modeling patches of natural images, modeling handwritten digits and pretaining a deep networks for a classification task. Furthermore, we illustrate the regularizer can also be applied to deep Boltzmann machines, which lead to sparse group deep Boltzmann machines. When adapted to the MNIST data set, a two-layer sparse group Boltzmann machine achieves an error rate of $0.84\%$, which is, to our knowledge, the best published result on the permutation-invariant version of the MNIST task.

연구 동기 및 목표

• 표준 RBMs가 은닉 유닛 간 의존성을 포착하는 데 한계가 있음을 해결하면서도 효율적인 추론을 유지하기 위해.
• 군집 수준뿐 아니라 은닉 유닛의 군집 내에서도 희소성을 유도하는 정규화 방법을 개발하기 위해.
• RBMs에서 구조적 희소성을 활용하여 생성 모델링과 특징 학습을 향상시키기 위해.
• 제안된 정규화 방법을 딥 버즈 머신으로 확장하여 분류 작업 성능을 향상시키기 위해.

제안 방법

• RBMs의 은닉 유닛 활성화 확률에 $l_1/l_2$ 정규화를 적용하여 군집 수준와 개별 수준의 희소성을 유도하기 위해.
• $l_1/l_2$ 정규화가 군집 수준와 개별 유닛 수준에서 모두 희소성을 유도한다는 것을 보여주기 위해 로지스틱 미분방정식을 사용하기 위해.
• 효율적인 파라미터 업데이트를 위해 $k=1$ 개의 깁스 샘플링 단계를 사용한 대비 다이버전스를 통한 SG-RBMs 훈련하기 위해.
• 정규화를 딥 버즈 머신으로 확장하여 희소 그룹 딥 버즈 머신을 생성하기 위해.
• 학습된 표현의 희소성 수준을 정량적으로 평가하기 위해 호이어의 희소성 측도를 사용하기 위해.
• 분할 함수를 근사하고 로그우도를 평가하기 위해 냉각 중요도 샘플링을 사용하기 위해.

실험 결과

연구 질문

• RQ1 $l_1/l_2$ 정규화가 은닉 유닛 활성화 확률에 적용되었을 때 군집 수준와 개별 유닛 수준에서 모두 희소성을 유도할 수 있는가?
• RQ2 제안된 희소 그룹 RBM은 이미지 데이터에서 표준 RBMs보다 더 나은 생성 모델을 제공하는가?
• RQ3 희소 그룹 RBM은 후속 분류 작업을 위한 더 구분력 있는 특징을 학습할 수 있는가?
• RQ4 이 정규화 방법을 사용하여 딥 순환 신경망을 사전 훈련하면 성능 향상이 이루어지는가?
• RQ5 이 방법을 딥 버즈 머신으로 확장하여 최고 수준의 성능을 달성할 수 있는가?

주요 결과

• MNIST에서 표준 RBM의 평균 테스트 로그확률 -123에 비해, 희소 그룹 RBM은 군집 크기 3일 때 평균 테스트 로그확률 -104를 기록하여 더 나은 생성 모델링을 나타낸다.
• SG-RBMs가 학습한 표현의 평균 희소성(군집 크기 3일 때 0.68)은 표준 RBMs의 평균 희소성(0.50)보다 유의미하게 높아, 향상된 희소성이 확인된다.
• 두 층으로 구성된 희소 그룹 딥 버즈 머신은 순열 불변 버전의 MNIST 작업에서 테스트 오차율 0.84%를 기록했으며, 이는 이 작업에 대해 발표된 바 있는 최고 성능이다.
• 군집 크기 3인 SG-RBMs를 사용해 784-600-600-2100 네트워크를 사전 훈련한 결과 오차율 0.89%를 기록했으며, 이는 표준 RBM 사전 훈련(1.14%)과 희소 RBM 사전 훈련(1.81%)을 모두 초월한다.
• 군집 크기 10인 희소 그룹 딥 버즈 머신은 동일한 아키텍처를 가진 비정규화된 딥 버즈 머신의 0.95% 오차율을 뛰어넘어 0.84% 오차율을 기록했다.