[논문 리뷰] Horseshoe Regularization for Machine Learning in Complex and Deep Models

Anindya Bhadra, Jyotishka Datta외 2명|arXiv (Cornell University)|2019. 04. 24.

Gaussian Processes and Bayesian Inference참고 문헌 90인용 수 4

한 줄 요약

이 논문은 선형 가우시안 모델을 초월해 비선형, 비가우시안, 다변량 및 딥 뉴럴 네트워크 설정으로 허시우스 정규화를 확장하며, 복잡한 머신러닝 작업에 대한 이론적이고 계산적으로 타당한 방법임을 입증한다. 방법론적 진전과 소프트웨어 구현을 제시하여, 현대 머신러닝 응용 분야에서 고차원 베이지안 추론을 위한 확장 가능한 이론적 기반을 지닌 도구로 허시우스 사전분포를 확립한다.

ABSTRACT

Since the advent of the horseshoe priors for regularization, global-local shrinkage methods have proved to be a fertile ground for the development of Bayesian methodology in machine learning, specifically for high-dimensional regression and classification problems. They have achieved remarkable success in computation, and enjoy strong theoretical support. Most of the existing literature has focused on the linear Gaussian case; see Bhadra et al. (2019b) for a systematic survey. The purpose of the current article is to demonstrate that the horseshoe regularization is useful far more broadly, by reviewing both methodological and computational developments in complex models that are more relevant to machine learning applications. Specifically, we focus on methodological challenges in horseshoe regularization in nonlinear and non-Gaussian models; multivariate models; and deep neural networks. We also outline the recent computational developments in horseshoe shrinkage for complex models along with a list of available software implementations that allows one to venture out beyond the comfort zone of the canonical linear regression problems.

연구 동기 및 목표

• 기존 문헌에서 지배적인 선형 가우시안 모델을 초월한 허시우스 정규화의 격차를 메우기 위해.
• 복잡한 고차원 머신러닝 모델에서 글로벌-로컬 수축 사전분포의 이론적 타당성과 계산 가능성 탐구하기 위해.
• 비선형, 비가우시안, 다변량 및 딥 뉴럴 네트워크 설정에서 허시우스 사전분포를 적용하기 위한 방법론적 프레임워크 제공하기 위해.
• 표준 선형 회귀를 초월한 실용적 적용을 지원하기 위해 접근 가능한 소프트웨어 구현 개발 및 통합하기 위해.
• 확장 가능한 계산 방법을 통해 딥 뉴럴 네트워크 및 복잡한 모델에서 이론적 최적성과 실증적 성능를 연결하기 위해.

제안 방법

• 계층적 베이지안 모델링을 통해 글로벌 및 로컬 수축 하이퍼파rameter를 특징으로 하는 허시우스 사전분포를 비선형 및 비가우시안 우도 모델에 적용하기 위해.
• 고차원 및 딥 모델에서의 확장 가능한 사후 계산을 가능하게 하기 위해 변분 베이즈 및 확률적 경량 최적화 MCMC 방법을 사용하기 위해.
• 확률적 역전파를 통해 허시우스 사전분포를 베이지안 신경망 및 딥 시그모이드 신뢰망과 같은 딥 러닝 아키텍처에 통합하기 위해.
• 고성능 GPU 가속 기반의 깁스 샘플링(예: CUDA를 통한)을 활용해 고차원 사후 추론에서의 샘플링 효율성 향상하기 위해.
• 파이썬, R, MATLAB, 스칼라에서의 소프트웨어 도구를 구현하고, 텐서플로우 및 확률 프로그래밍 프레임워크와의 호환성 제공하기 위해.
• 투영 예측 방법과 동적 수축 과정을 활용해 그래픽 모델 및 시계열 설정에서의 허시우스 활용성 확장하기 위해.

실험 결과

연구 질문

• RQ1 허시우스 정규화는 비선형 및 비가우시안 모델에서 이론적 최적성과 계산적 확장성을 유지할 수 있는가?
• RQ2 글로벌-로컬 수축 사전분포는 다변량 및 고차원 구조적 모델으로 효과적으로 확장될 수 있는가?
• RQ3 표준 정규화와 비교했을 때, 딥 뉴럴 네트워크에서 허시우스 사전분포를 사용할 경우의 계산적 트레이드오프와 성능 향상은 무엇인가?
• RQ4 변분 베이즈 및 확률적 경량 최적화 MCMC 방법은 복잡한 모델에서 허시우스 사전분포와 함께 확장 가능한 사후 추론을 얼마나 잘 가능하게 하는가?
• RQ5 현대 머신러닝 파이프라인에서 허시우스 정규화의 광범위한 도입을 지원하기 위해 필요한 소프트웨어 인프라는 무엇인가?

주요 결과

• 허시우스 정규화는 이론적 최적성 프레임워크가 제한된 비선형 및 비가우시안 모델, 특히 딥 뉴럴 네트워크에서도 강력한 실증적 성공을 보였다.
• 허시우스 사전분포는 고차원 문제에서 효과적인 스파arsity 유도와 불확실성 정량화를 가능하게 하여, 특정 영역에서 라소와 같은 전통적 방법을 능가한다.
• GPU 가속 구현(예: GPUHorseshoe)은 프로빗 모델에서 샘플링 속도를 크게 향상시켜 대규모 설정에서도 실용적인 추론을 가능하게 하였다.
• HS-BNN, Bayesian Compression, DeepGLM와 같은 소프트웨어 패키지는 베이지안 신경망 및 딥 러닝에서 허시우스 사전분포를 적용하기 위한 즉시 사용 가능한 도구를 제공한다.
• 확률적 경량 최적화 MCMC 방법은 딥 모델에서의 베이지안 추론 확장을 위해 유망한 길을 제시하며, 허시우스 사전분포를 활용한 완전한 베이지안 딥 러닝의 실현 가능성을 시사한다.
• 텐서플로우 기반의 허시우스 분포의 네이티브 구현이 공개되어 있어 대규모 머신러닝 워크플로우와의 통합이 가능하다.