[논문 리뷰] Deep Bayesian regression models

Aliaksandr Hubin, Geir Storvik외 1명|arXiv (Cornell University)|2018. 06. 06.

Gaussian Processes and Bayesian Inference참고 문헌 35인용 수 4

한 줄 요약

이 논문은 딥 러닝의 비선형 특징 공학 기법과 베이지안 추론을 융합한 딥 베이지안 회귀 모델(DBRM) 프레임워크를 소개한다. 이는 예측 성능이 뛰어나면서도 해석 가능하고 불확실성 측정이 가능한 회귀 모델을 가능하게 한다. MCMC 기반 알고리즘을 활용한 모델 선택 및 평균화를 통해 DBRM는 우수한 예측 성능를 달성하면서도 신뢰도 구간을 통해 불확실성을 정량화하며, 벤치마크 예제에서 최신 기법들을 능가한다.

ABSTRACT

Regression models are used for inference and prediction in a wide range of applications providing a powerful scientific tool for researchers and analysts from different fields. In many research fields the amount of available data as well as the number of potential explanatory variables is rapidly increasing. Variable selection and model averaging have become extremely important tools for improving inference and prediction. However, often linear models are not sufficient and the complex relationship between input variables and a response is better described by introducing non-linearities and complex functional interactions. Deep learning models have been extremely successful in terms of prediction although they are often difficult to specify and potentially suffer from overfitting. The aim of this paper is to bring the ideas of deep learning into a statistical framework which yields more parsimonious models and allows to quantify model uncertainty. To this end we introduce the class of deep Bayesian regression models (DBRM) consisting of a generalized linear model combined with a comprehensive non-linear feature space, where non-linear features are generated just like in deep learning but combined with variable selection in order to include only important features. DBRM can easily be extended to include latent Gaussian variables to model complex correlation structures between observations, which seems to be not easily possible with existing deep learning approaches. Two different algorithms based on MCMC are introduced to fit DBRM and to perform Bayesian inference. The predictive performance of these algorithms is compared with a large number of state of the art algorithms. Furthermore we illustrate how DBRM can be used for model inference in various applications.

연구 동기 및 목표

• 딥 러닝의 비선형 특징 추출 기법과 베이지안 추론을 융합하여 해석 가능하고 불확실성 측정이 가능한 통계적으로 타당한 프레임워크를 개발한다.
• 딥 러닝의 해석 불량, 과적합, 불확실성 측정 부재 등의 한계를 베이지안 회귀 프레임워크 내에서 딥 특징 학습을 통합함으로써 해결한다.
• 조합 최적화 및 변수 선택을 통해 자동으로 관련 있는 비선형 특징을 선별하고, 정보성 사전 분포를 통해 과적합을 방지한다.
• 관측치 간의 복잡한 상관관계를 포착하기 위해 잠재 가우시안 과정을 모델에 통합하여 표준 딥 러닝에서 자주 부족한 능력을 확장한다.
• 모델 평균화 및 주변 가능도 추정을 지원하는 확장 가능하고 계산적으로 실현 가능한 베이지안 딥 러닝 접근법을 제공한다.

제안 방법

• 비선형 특징을 딥 네URAL 네트워크 유사 변환을 단계별로 적용하여 생성하는 계층적 베이지안 모델을 제안하며, 복잡성 정규화를 위해 베이지안 사전분포를 사용한다.
• 모델 공간 탐색 및 모델 평균화를 가능하게 하기 위해 마르코프 체인 몬테 카를로(MCMC) 알고리즘—특히 GMJMCMC 및 RGMJMCMC—를 사용하여 후행 추론을 수행한다.
• 비선형 변환과 변수 선택을 조합한 특징 공학 전략을 도입하며, 후행 모델 확률을 통해 통계적으로 유의미한 특징만 유지한다.
• 브릿지 샘플링 및 라플라스 근사법을 통한 주변 가능도 추정을 활용하여 모델 비교 및 최적 아키텍처 선택을 수행한다.
• 관측치 간의 복잡한 의존성 구조를 모델링하기 위해 잠재 가우시안 과정의 통합을 지원하여 독립 관측치를 넘어서는 모델 확장을 가능하게 한다.
• EMJMCMC R 패키지에 구현된 메모리 효율적이고 병렬화된 MCMC 알고리즘을 통해 중간에서 큰 데이터셋에 대한 확장 가능한 추론을 지원한다.

실험 결과

연구 질문

• RQ1 딥 특징 공학과 베이지안 프레임워크를 효과적으로 융합하여 예측 성능가치가 높고 해석 가능한 모델을 도출할 수 있는가?
• RQ2 근사치에 의존하지 않고 완전한 베이지안 접근법을 통해 딥 러닝 모델의 모델 불확실성을 엄밀하게 정량화할 수 있는가?
• RQ3 딥 특징 공간 내에서 자동 모델 선택 및 변수 선택 전략이 기존 딥 러닝 및 고전적 회귀 모델 대비 예측 성능 향상에 얼마나 기여하는가?
• RQ4 잠재 가우시안 과정을 딥 러닝 아키텍처에 효과적으로 통합하여 데이터 내 복잡한 상관관계를 모델링할 수 있는가?
• RQ5 딥 특징 생성 과정에서 특징 가중치 최적화를 위한 다양한 전략 간의 계산적 트레이드오프는 어떠한가?

주요 결과

• DBRM는 다양한 벤치마크 예제에서 딥 네URAL 네트워크 및 고전적 회귀 모델을 포함한 다수의 최신 기법들보다 뛰어난 예측 성능를 기록한다.
• MCMC 기반 모델 평균화 및 주변 가능도 추정을 통해 보정된 불확실성 측정이 가능하며, 수학적으로 타당하고 해석 가능한 신뢰도 구간을 제공한다.
• 비선형 변환 후 변수 선택 전략을 기반으로 한 제안된 특징 공학 전략은 계산 효율성과 예측 정확도 측면에서 더 복잡한 최적화 전략들을 능가한다.
• 잠재 가우시안 변수의 통합을 통해 모델은 데이터 내 복잡한 상관관계를 포착할 수 있으며, 이는 표준 딥 러닝 프레임워크에서 쉽게 달성하기 어려운 능력이다.
• EMJMCMC R 패키지는 다양한 사전 분포 설정 및 주변 가능도 추정 기법을 지원하는 확장 가능하고 민첩한 구현을 제공하여 재현 가능하고 확장 가능한 연구를 가능하게 한다.
• 계산적 부담에도 불구하고 이 프레임워크는 중간에서 큰 데이터셋에 대해 실현 가능하며, 향후 대용량 데이터 스케일링을 위한 서브샘플링 MCMC 기법으로의 확장 가능성이 있다.