[논문 리뷰] Stochastic Neural Networks with Monotonic Activation Functions

Siamak Ravanbakhsh, Barnabás Póczos외 3명|arXiv (Cornell University)|2016. 01. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 7

한 줄 요약

이 논문은 지수족 RBM(Exp-RBMs)을 소개한다. Exp-RBMs는 레이저, 탄젠트, 하이퍼볼릭 sinus 등의 임의의 매끄럽고 단조 증가하는 활성화 함수를 사용하는 스토케스틱 유닛을 Gaussian 노이즈를 활용한 라플라스 근사법을 통해 적용함으로써, 대비 기울기 방법을 통한 효율적인 훈련이 가능해지며, 기존의 지수족 단위보다 더 우수한 생성적 표현을 도출할 수 있음을 보여준다.

ABSTRACT

We propose a Laplace approximation that creates a stochastic unit from any smooth monotonic activation function, using only Gaussian noise. This paper investigates the application of this stochastic approximation in training a family of Restricted Boltzmann Machines (RBM) that are closely linked to Bregman divergences. This family, that we call exponential family RBM (Exp-RBM), is a subset of the exponential family Harmoniums that expresses family members through a choice of smooth monotonic non-linearity for each neuron. Using contrastive divergence along with our Gaussian approximation, we show that Exp-RBM can learn useful representations using novel stochastic units.

연구 동기 및 목표

• 기존의 지수족 단위를 초월하여 임의의 매끄럽고 단조 증가하는 활성화 함수를 허용하는 제한된 볼츠만 기계(RBMs)의 확장을 목적으로 한다.
• 지수족 하모니엄(EFH)에서 비표준 활성화 함수에 대한 일반적인 샘플링 절차의 부재를 해결한다.
• 라플라스 근사와 Gaussian 노이즈를 활용한 스토케스틱 유닛에 대한 원칙적이고 효율적인 샘플링 방법을 개발한다.
• 새로운 활성화 함수를 갖춘 Exp-RBMs가 강력한 생성적 표현을 학습할 수 있음을 보여준다.
• Exp-RBMs의 생성적 훈련과 노이즈 주입을 통한 분류적 훈련 간의 연결 고리를 설정한다.

제안 방법

• 모든 매끄럽고 단조 증가하는 활성화 함수를 Gaussian 노이즈만을 사용하여 스토케스틱 유닛으로 변환하기 위한 라플라스 근사를 제안한다.
• 신뢰도 통계가 항등행렬인 지수족 하모니엄(EFH)의 하위집합으로서 Exp-RBMs를 도입함으로써, 활성화 함수를 직접 평균 매개변수로 사용할 수 있도록 한다.
• 수치적 안정성을 확보하기 위해 10단계의 기브스 샘플링을 사용한 대비 기울기 방법을 훈련에 적용한다.
• 샘플링에는 rates-FPCD를 사용하고, 테스트 데이터에서의 모델 성능 비교를 위해 간접 샘플링 가능도(ISL) 평가를 실시한다.
• 모델 품질 평가를 위해 파rameter β를 사용한 비모수적 밀도 추정을 적용한다.
• 스토케스틱 유닛을 다양한 편향을 가진 무한한 베르누이 유닛의 혼합으로 해석함으로써, 생성적 학습과 분류적 학습 간의 이론적 연결 고리를 제공한다.

실험 결과

연구 질문

• RQ1 비표준 단조 증가 활성화 함수를 갖는 RBMs에 대한 일반적인 샘플링 절차를 개발할 수 있는가?
• RQ2 새로운 활성화 함수(예: ReLU, Sinh)를 사용한 Exp-RBMs의 성능은 베르누이 또는 가우시안 단위를 사용한 표준 RBMs와 비교해 어떻게 되는가?
• RQ3 Gaussian 노이즈를 사용한 라플라스 근사는 Exp-RBMs의 효율적 훈련을 어느 정도 가능하게 하는가?
• RQ4 Exp-RBMs의 생성적 훈련과 노이즈 주입을 통한 분류적 훈련 간에 연결 고리가 존재하는가?
• RQ5 비지수족 활성화 함수를 사용할 때, Exp-RBMs는 기존 RBMs보다 더 나은 데이터 표현을 학습할 수 있는가?

주요 결과

• USPS 데이터셋에서 ReQU 활성화 함수를 사용한 Exp-RBMs가 가장 높은 간접 샘플링 가능도(ISL)를 기록했으며, Tanh, ReLU, Sinh 유닛보다 뛰어난 성능을 보였다.
• 25단계의 기브스 스텝과 훈련 에포크 수를 두 배로 늘린 후에도 ReQU 기반 모델은 우수한 생성 샘플을 생성했고, 이는 Tanh 유닛이 성능을 따라잡지 못한 것을 의미한다.
• 모든 모델이 시간이 지남에 따라 향상되었으며, 로그 가능도가 증가하고 β*가 훈련 세트 최적값 0.93에 수렴함으로써 더 나은 데이터 표현을 의미한다.
• 이 방법은 ReLU 및 시그모이드/Tanh 유닛에서 수치적 안정성을 확보했으며, 이 경우 ReQU가 가장 뛰어난 표현 능력을 보였다.
• Gaussian 노이즈를 사용한 라플라스 근사는 다양한 활성화 함수에 걸쳐 효율적인 샘플링과 훈련을 가능하게 하여 실용성을 입증했다.
• 다양한 편향을 가진 무한한 베르누이 유닛의 혼합으로 스토케스틱 유닛을 해석함으로써, 생성적 학습과 분류적 학습 간의 이론적 연결 고리를 제공한다.