[논문 리뷰] Informative Gaussian Scale Mixture Priors for Bayesian Neural Networks.

Tianyu Cui, Aki S. Havulinna외 2명|arXiv (Cornell University)|2020. 02. 24.

Gaussian Processes and Bayesian Inference참고 문헌 16인용 수 4

한 줄 요약

이 논문은 베이지안 신경망에 대해 특징 희소성과 신호 대 잡음비율을 분산 설명 비율(PVE)을 통해 반영하는 정보성 가우시안 스케일 혼합 사전분포를 제안한다. 국소 스케일 매개변수를 함께 모델링하여 특징의 중요도를 반영하고, PVE에 따라 글로벌 스케일을 校정함으로써, 벤치마크 및 유전체 데이터셋에서 예측 정확도를 향상시킨다.

ABSTRACT

Encoding domain knowledge into the prior over the high-dimensional weight space is challenging in Bayesian neural networks. Two types of domain knowledge are commonly available in scientific applications: 1. feature sparsity (number of relevant features); 2. signal-to-noise ratio, quantified, for instance, as the proportion of variance explained (PVE). We show both types of domain knowledge can be encoded into the widely used Gaussian scale mixture priors with Automatic Relevance Determination. Specifically, we propose a new joint prior over the local (i.e., feature-specific) scale parameters to encode the knowledge about feature sparsity, and an algorithm to determine the global scale parameter (shared by all features) according to the PVE. Empirically, we show that the proposed informative prior improves prediction accuracy on publicly available datasets and in a genetics application.

연구 동기 및 목표

• 고차원적 가중치 사전분포에 도메인 지식을 통합하는 데 도전하는 것.
• 네트워크 가중치에 대한 사전분포에 특징 희소성—즉, 관련 특징의 수—를 포함시키는 것.
• 분산 설명 비율(PVE)으로 측정된 신호 대 잡음비율을 사전 구조에 통합하는 것.
• PVE를 바탕으로 글로벌 스케일 매개변수를 체계적으로 설정하는 원칙적인 방법을 개발하여 모델 校정을 향상시키는 것.
• 제안된 사전분포가 다양한 데이터셋에서 예측 성능을 향상시킨다는 것을 경험적으로 검증하는 것.

제안 방법

• 특징의 중요도를 반영하기 위해 국소 스케일 매개변수에 대한 공동 사전분포를 제안하여 도메인 지식이 반영된 구조를 갖춘 자동 중요도 결정을 가능하게 한다.
• 목표로 하는 분산 설명 비율(PVE)에 기반하여 글로벌 스케일 매개변수를 설정하는 알고리즘을 도입하여 사전 분산과 신호 강도를 연결한다.
• 가우시안 스케일 혼합 사전분포와 자동 중요도 결정(ARD)을 사용하여 특징별 스케일 학습을 가능하게 하면서도 계산의 타당성을 유지한다.
• 국소 스케일이 특징 중요도를 반영하고 글로벌 스케일이 전체적인 신호 강도를 반영하는 계층적 베이지안 프레임워크를 활용한다.
• PVE 목표에서 유도된 폐쇄형 근사식을 사용하여 글로벌 스케일을 校정함으로써 경험적 신호 대 잡음비율 기대치와 일관성을 확보한다.
• 결과로 도출된 사전분포를 베이지안 신경망 학습에 적용하고 표준 지표를 사용하여 예측 성능을 평가한다.

실험 결과

연구 질문

• RQ1 가우시안 스케일 혼합 사전분포를 사용하여 베이지안 신경망 가중치의 사전분포에 특징 희소성을 효과적으로 통합할 수 있는가?
• RQ2 분산 설명 비율(PVE)이 베이지안 신경망 사전분포의 글로벌 스케일 매개변수에 어떻게 체계적으로 통합될 수 있는가?
• RQ3 제안된 정보성 사전분포가 실제 응용에서 기존의 비정보성 사전분포보다 예측 정확도를 향상시키는가?
• RQ4 국소 및 글로벌 스케일 매개변수의 공동 모델링이 베이지안 신경망에서 특징 선택과 예측 성능 향상에 기여하는가?

주요 결과

• 제안된 정보성 사전분포는 기존의 비정보성 사전분포보다 공개된 벤치마크 데이터셋에서 예측 정확도를 향상시킨다.
• 국소 스케일 매개변수에 대한 구조화된 공동 사전분포를 통해 특징 희소성이 성공적으로 반영되어 도메인 지식이 반영된 자동 중요도 결정이 가능해진다.
• PVE에 기반한 글로벌 스케일 매개변수 설정 알고리즘이 데이터의 기대되는 신호 강도와 더 잘 일치함을 보여준다.
• 경험적 결과는 실제 유전체 응용 분야에서 일관된 성능 향상을 입증하여 이 방법의 과학적 분야에서의 유용성을 검증한다.
• 사전분포에 도메인 지식을 통합함으로써 더 신뢰할 수 있고 보정된 베이지안 신경망 예측이 가능해진다.