[논문 리뷰] Gaussian Process Neurons Learn Stochastic Activation Functions

Sebastian Urban, Marcus Basalla외 1명|arXiv (Cornell University)|2017. 11. 29.

Gaussian Processes and Bayesian Inference참고 문헌 26인용 수 4

한 줄 요약

이 논문은 가우시안 프로세스 사전분포를 통해 확률적이고 비모수적 활성화 함수를 학습하는 확률적 신경단위인 가우시안 프로세스 뉴런(GPN)을 소개한다. 이는 예측에 대한 불확실성 인식과 내재된 정규화를 가능하게 한다. 변분 베이지안 추론과 중심극한정리에 기반하여, 전체적으로 결정론적인 손실 함수를 유도함으로써, 표준 경사하강법을 사용한 효율적 훈련을 가능하게 하면서도 기존 신경망의 기능적 구조를 유지한다.

ABSTRACT

We propose stochastic, non-parametric activation functions that are fully learnable and individual to each neuron. Complexity and the risk of overfitting are controlled by placing a Gaussian process prior over these functions. The result is the Gaussian process neuron, a probabilistic unit that can be used as the basic building block for probabilistic graphical models that resemble the structure of neural networks. The proposed model can intrinsically handle uncertainties in its inputs and self-estimate the confidence of its predictions. Using variational Bayesian inference and the central limit theorem, a fully deterministic loss function is derived, allowing it to be trained as efficiently as a conventional neural network using mini-batch gradient descent. The posterior distribution of activation functions is inferred from the training data alongside the weights of the network. The proposed model favorably compares to deep Gaussian processes, both in model complexity and efficiency of inference. It can be directly applied to recurrent or convolutional network structures, allowing its use in audio and image processing tasks. As an preliminary empirical evaluation we present experiments on regression and classification tasks, in which our model achieves performance comparable to or better than a Dropout regularized neural network with a fixed activation function. Experiments are ongoing and results will be added as they become available.

연구 동기 및 목표

• 고정된 수작업으로 설계된 함수에 의존하지 않고, 데이터로부터 활성화 함수를 스스로 학습하는 신경망 단위를 개발하는 것.
• 활성화 함수를 확률적으로 모델링하여 신경망 예측에 대한 불확실성 정량화를 통합하는 것.
• 활성화 함수에 대한 베이지안 비모수적 사전분포를 통해 모델 복잡도를 제어하고 과적합을 방지하는 것.
• 기존 딥러닝 최적화 기법을 사용하여 이러한 모델을 효율적으로 훈련하는 것.
• 기존 신경망과 동일한 효율성과 통합 가능성으로 확률적 딥러닝 모델을 구현하는 것.

제안 방법

• 각 뉴런의 활성화 함수에 제곱지수 공분산 함수를 갖는 가우시안 프로세스 사전분포를 적용하여, 비모수적이고 부드러운 활성화 함수를 확보한다.
• 변분 베이지안 추론을 사용하여 활성화 함수의 사후분포를 근사함으로써 엔드 투 엔드 훈련을 가능하게 한다.
• 은닉층 활성화가 약간 정규분포를 이룬다는 중심극한정리를 활용하여, 변분 목표함수의 결정론적 근사를 가능하게 한다.
• 몬테카를로 샘플링을 통해 사후분포를 근사하고 GP 사전분포를 적분함으로써 완전히 결정론적인 손실 함수를 도출함으로써 표준 백프로파게이션을 가능하게 한다.
• 계산 비용을 줄이기 위해 유도점(inducing points)을 사용하는 파arametric GPN 변종을 도입하여, 미니배치 경사하강법을 통한 효율적 훈련을 가능하게 한다.
• 빠른 드롭아웃과 희소 변분 가우시안 프로세스 회귀의 아이디어를 융합하여 비모수적 GPN의 효율적이고 확장 가능한 훈련을 달성한다.

실험 결과

연구 질문

• RQ1 비모수적이고 확률적인 사전분포를 사용하여 신경망 단위가 데이터로부터 직접 활성화 함수를 학습할 수 있는가?
• RQ2 이러한 모델은 입력 불확실성을 다룰 수 있으며 내재된 예측 신뢰도를 추정할 수 있는가?
• RQ3 몬테카를로 기반의 기울기 샘플링 없이도 확률적 GP 기반 활성화 함수를 확률적 경사하강법으로 효율적으로 훈련할 수 있는가?
• RQ4 GPN의 성능은 고정된 활성화 함수(예: ReLU 또는 Leaky ReLU)를 사용하는 표준 딥러닝 네트워크와 비교해 어떻게 되는가?
• RQ5 GPN은 컨volutional 네트워크(CNN)나 순환 네트워크(RNN)와 같은 복잡한 아키텍처에 효과적으로 통합될 수 있는가?

주요 결과

• 제안된 GPN 모델은 소규모 회귀 및 분류 데이터셋에서 고정된 활성화 함수를 갖는 드롭아웃 정규화된 신경망과 비교해 유사하거나 더 뛰어난 성능을 보였다.
• 최대우도 기반으로 훈련된 파arametric GPN 변종은 일반화 성능 향상 측면에서 표준 네트워크의 고정 활성화 함수보다 일관되게 향상된 성능을 보였다.
• 중심극한정리 근사를 통해 완전히 결정론적인 손실 함수를 도출할 수 있었고, 이는 표준 백프로파게이션과 동일한 효율성의 훈련을 가능하게 하였다.
• 모델은 직접적으로 컨볼루션 및 순환 아키텍처에 적용 가능하여 이미지 및 오디오 처리 작업에 활용될 수 있었다.
• 깊은 가우시안 프로세스보다 훨씬 적은 변분 파rameter를 요구하고 훈련이 훨씬 효율적이었으며, 유사한 인덕티브 바이어스를 유지하였다.
• 초기 결과에 따르면 GPN은 더 강한 비선형성을 제공함으로써 일반화 성능에서 표준 네트워크를 능가할 수 있으며, 대규모 데이터셋에 대한 추가 실험이 진행 중이다.