[논문 리뷰] Annealing Gaussian into ReLU: a New Sampling Strategy for Leaky-ReLU RBM

Chunliang Li, Siamak Ravanbakhsh외 1명|arXiv (Cornell University)|2016. 11. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 5

한 줄 요약

이 논문은 게이트 없는 ReLU 제한 볼츠만 기계(RBM)에 대해 게이트성 파rameter를 고갈시키는 새로운 샘플링 전략을 제안한다. 이 전략은 게이팅 파라미터를 고갈시키는 과정에서 초기에 완전히 가우시안(비게이팅) 상태에서 시작하여 점차 비선형성을 증가시키며, 기존의 대비 기울기(contrastive divergence)보다 더 정확하고 효율적인 가능도 추정과 더 빠른 혼합 속도를 가능하게 한다. 이는 분할 함수 추정에서 표준 고갈 중요도 샘플링(AIS)보다도 뛰어난 성능을 보인다.

ABSTRACT

Restricted Boltzmann Machine (RBM) is a bipartite graphical model that is used as the building block in energy-based deep generative models. Due to numerical stability and quantifiability of the likelihood, RBM is commonly used with Bernoulli units. Here, we consider an alternative member of exponential family RBM with leaky rectified linear units -- called leaky RBM. We first study the joint and marginal distributions of leaky RBM under different leakiness, which provides us important insights by connecting the leaky RBM model and truncated Gaussian distributions. The connection leads us to a simple yet efficient method for sampling from this model, where the basic idea is to anneal the leakiness rather than the energy; -- i.e., start from a fully Gaussian/Linear unit and gradually decrease the leakiness over iterations. This serves as an alternative to the annealing of the temperature parameter and enables numerical estimation of the likelihood that are more efficient and more accurate than the commonly used annealed importance sampling (AIS). We further demonstrate that the proposed sampling algorithm enjoys faster mixing property than contrastive divergence algorithm, which benefits the training without any additional computational cost.

연구 동기 및 목표

• 비단조화성 때문에 지수족에 속하지 않는 ReLU RBM에서 효율적이고 정확한 샘플링과 가능도 추정의 부족을 해결하기 위해.
• 학습 중에 모델 발산을 유도할 수 있는 게이팅 RBM의 기본적인 정밀행렬 제약 조건을 규명하고 해결하기 위해.
• 게이팅 RBM의 혼합 속도와 학습 효율성을 향상시키는 새로운 샘플링 알고리즘을 개발하기 위해.
• 게이팅 ReLU 유닛이 이진 유닛(Bernoulli)보다 모델의 로그 가능도 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 이 방법은 게이팅 파라미터를 0(완전히 가우시안)에서 목표 값으로 점차 증가시키며, 게이팅 샘플링 반복 과정 동안 고갈시키는 메타-샘플링 알고리즘을 도입한다.
• 게이팅 RBM과 잘린 가우시안 분포 간의 연결을 활용하여 공동 및 주변 분포에서 효율적인 샘플링을 가능하게 한다.
• 선형/가우시안 유닛에서 시작하여 점차 게이팅성이 증가하는 ReLU 유닛의 시퀀스를 사용함으로써, 게이팅 샘플링 중 혼합 속도와 수렴 속도를 향상시킨다.
• 점차 증가하는 비선형성을 가진 모델의 경로를 사용함으로써, 직접적인 불가항성 분할 함수 계산을 피하는 샘플링 절차를 구현한다.
• 기존의 대비 기울기 방법과 통합하여, 초기 가시 상태를 데이터 샘플로 대체하면서도 여전히 게이팅성을 고갈시키며, 계산 효율성을 유지한다.
• 기존의 고갈 중요도 샘플링(AIS)보다 더 높은 정확도와 낮은 분산으로 분할 함수의 수치적 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 게이팅 ReLU RBM에 대해 혼합 속도와 가능도 추정을 향상시키는 샘플링 전략을 어떻게 설계할 수 있는가?
• RQ2 게이팅 RBM의 기본적인 분포적 성질은 무엇이며, 이는 잘린 가우시안 분포와 어떻게 관련이 있는가?
• RQ3 게이팅 RBM의 안정적인 학습을 보장하기 위해 만족시켜야 할 모델 파라미터의 제약 조건은 무엇인가?
• RQ4 샘플링 중에 게이팅성을 고갈시키는 것이 기존의 대비 기울기나 고갈 중요도 샘플링보다 학습 및 가능도 추정에서 더 뛰어난 성능을 낼 수 있는가?
• RQ5 게이팅 ReLU 유닛의 사용이 로그 가능도 측면에서 이진 유닛보다 더 나은 생성 성능을 낼 수 있는가?

주요 결과

• 제안된 고갈 기반 샘플링 방법은 추가적인 계산 비용 없이도 표준 대비 기울기보다 더 빠른 혼합 속도를 달성하여 학습 효율성을 향상시킨다.
• 여러 기준 데이터셋에서 기존의 고갈 중요도 샘플링(AIS)보다 분할 함수 추정에서 더 높은 정확도와 낮은 분산을 보이며 뛰어난 성능을 발휘한다.
• 게이팅 ReLU RBM은 이진-가우시안 RBM보다 유의미하게 높은 로그 가능도 성능을 보이며, 최적의 학습률을 사용할 경우 SVHN 및 CIFAR10에서 약 300 nats의 향상을 기록한다.
• 이 연구는 게이팅 RBM 학습에서 이전에 간과되었던 정밀행렬 제약 조건을 규명하였으며, 이 조건이 위반될 경우 모델 발산이 발생할 수 있음을 밝혔다.
• 게이팅 RBM과 잘린 가우시안 분포 간의 관계는 제안된 샘플링 전략에 이론적 기반을 제공한다.
• 데이터 기반 초기화와 게이팅성 고갈을 조합한 하이브리드 알고리즘은 전체 고갈 방법 수준의 성능을 거의 달성하면서도 표준 CD의 계산 효율성을 유지한다.