[논문 리뷰] Natural-Parameter Networks: A Class of Probabilistic Neural Networks

Hao Wang, Xingjian Shi외 1명|arXiv (Cornell University)|2016. 11. 02.

Machine Learning and Data Classification참고 문헌 23인용 수 38

한 줄 요약

이 논문은 자연계수 네트워크(Natural-Parameter Networks, NPN)를 소개한다. NPN은 가중치와 뉴런을 임의의 지수족 분포로 모델링하는 확률적 신경망의 일종으로, 샘플링 없이도 민감도 높은 베이지안 불확실성 추정이 가능하다. 역전파를 통해 자연계수를 학습함으로써 NPN은 분류, 회귀, 비지도 표현 학습에서 최고 성능을 기록하며, 불확실성 인식 가능한 중간 표현을 제공한다.

ABSTRACT

Neural networks (NN) have achieved state-of-the-art performance in various applications. Unfortunately in applications where training data is insufficient, they are often prone to overfitting. One effective way to alleviate this problem is to exploit the Bayesian approach by using Bayesian neural networks (BNN). Another shortcoming of NN is the lack of flexibility to customize different distributions for the weights and neurons according to the data, as is often done in probabilistic graphical models. To address these problems, we propose a class of probabilistic neural networks, dubbed natural-parameter networks (NPN), as a novel and lightweight Bayesian treatment of NN. NPN allows the usage of arbitrary exponential-family distributions to model the weights and neurons. Different from traditional NN and BNN, NPN takes distributions as input and goes through layers of transformation before producing distributions to match the target output distributions. As a Bayesian treatment, efficient backpropagation (BP) is performed to learn the natural parameters for the distributions over both the weights and neurons. The output distributions of each layer, as byproducts, may be used as second-order representations for the associated tasks such as link prediction. Experiments on real-world datasets show that NPN can achieve state-of-the-art performance.

연구 동기 및 목표

• 학습 데이터가 제한적일 경우 기존 신경망에서의 과적합과 낮은 불확실성 추정 문제를 해결하기 위해.
• 기존 베이지안 신경망이 가중치와 뉴런에 대해 가우시안 분포를 가정하는 데서 비롯되는 유연성 부족 문제를 해결하기 위해.
• 다양한 데이터 유형(예: 카운트, 이진, 연속형)에 대한 탄력적인 모델링을 가능하게 하기 위해 임의의 지수족 분포를 허용하기 위해.
• 하류 작업에 활용 가능한 중간층 뉴런의 불확실성 추정을 제공하기 위해.
• 확률적 딥러닝 네트워크를 위한 샘플링 없이 역전파에 호환되는 훈련 방법을 개발하기 위해.

제안 방법

• NPN은 입력, 가중치, 뉴런, 출력을 자연계수로 파arameter화된 지수족 분포로 모델링한다.
• 선형 및 비선형 층을 통해 분포에 대한 결정론적 변환을 수행하며, 평균과 분산(또는 충분통계량)을 모두 전파한다.
• 역전파를 통해 가중치와 뉴런의 분포에 대한 자연계수를 학습함으로써 효율적인 기울기 기반 최적화를 가능하게 한다.
• 비가우시안 분포(예: 포아송, 감마)의 경우, 미분 가능 훈련을 가능하게 하기 위해 평균과 분산에서 유도된 대체 자연계수를 사용한다.
• 이 프레임워크는 지도 및 비지도 학습 모두를 지원하며, 전방 및 역방향 전파 과정에서 자연스럽게 불확실성 추정이 유도된다.
• 충분통계량에 대한 연쇄법칙과 자코비안 계산을 사용하여 다양한 분포 유형(Gaussian, Poisson 등)에 대해 구체적인 역전파 규칙을 유도한다.

실험 결과

연구 질문

• RQ1 기존의 가우시안성을 가정하는 것 외에, 임의의 지수족 분포를 사용하여 가중치와 뉴런을 모델링할 수 있는 딥 뉴럴 네트워크를 설계할 수 있는가?
• RQ2 중간층 뉴런의 불확실성 추정을 효율적으로 계산하고 하류 작업에서 표현으로 활용할 수 있는가?
• RQ3 샘플링이 없는, 역전파에 호환되는 베이지안 신경망이 제한된 데이터 환경에서 기존 방법보다 더 뛰어난 성능을 내는가?
• RQ4 중간층의 출력 분포가 링크 예측이나 오토에코딩과 같은 작업에서 성능 향상에 기여하는 2차 표현으로 기능할 수 있는가?
• RQ5 다양한 분포 유형(Poisson을 통한 카운트, Gamma를 통한 가중치 등)이 다양한 학습 과제에서 모델 성능에 미치는 영향은 어떠한가?

주요 결과

• NPN은 분류, 회귀, 비지도 표현 학습 과제에서 다양한 실세계 데이터셋에서 최고 성능을 기록한다.
• 모델은 오토에코딩 및 링크 예측에서 표현 품질을 향상시키는 자연스러운 부산물로 중간층 뉴런의 불확실성 추정을 제공한다.
• 포아송 회귀 과제에서는 감마 분포를 가진 가중치와 포아송 출력을 사용한 NPN이 기존 베이스라인보다 뛰어나며, 특히 데이터가 적은 환경에서 유의미한 성능 향상을 보였다.
• 샘플링이 없는 훈련 방식은 베이즈-백프로프나 SGLD와 같은 몬테카를로 기반 베이지안 방법에 비해 계산 비용을 크게 줄였다.
• 자연계수를 통한 역전파를 통해 충분통계량과 자코비안 변환을 사용하여 분포 매개변수의 엔드 투 엔드 학습이 가능해졌다.
• 대체 자연계수(평균과 분산)의 사용은 비가우시안 분포의 경우에도 미분 가능 훈련을 유지하면서 계산 효율성을 확보한다.