[논문 리뷰] Safe-Bayesian Generalized Linear Regression

Rianne de Heide, Alisa Kirichenko외 2명|arXiv (Cornell University)|2019. 10. 21.

Statistical Methods and Inference참고 문헌 34인용 수 18

한 줄 요약

이 논문은 모형 오특정 하에서 베이지안 추론의 안정성을 높이기 위해 학습률 η < 1을 사용하는 안전-베이지안 일반선형 회귀를 제안한다. 일반선형 모형에서 응답 변수의 꼬리가 지수적으로 감소하는 분포를 가질 경우, 이 방법이 가장 잘 근사하는 모형 주위로 집중됨을 증명하였으며, 몬테카를로 샘플러와 실제 데이터를 통해 오특정 하에서 표준 베이지안 방법에 비해 예측 정확도가 크게 뛰어남을 보였다.

ABSTRACT

We study generalized Bayesian inference under misspecification, i.e. when the model is 'wrong but useful'. Generalized Bayes equips the likelihood with a learning rate $η$. We show that for generalized linear models (GLMs), $η$-generalized Bayes concentrates around the best approximation of the truth within the model for specific $η eq 1$, even under severely misspecified noise, as long as the tails of the true distribution are exponential. We derive MCMC samplers for generalized Bayesian lasso and logistic regression and give examples of both simulated and real-world data in which generalized Bayes substantially outperforms standard Bayes.

연구 동기 및 목표

• 모형 오특정 하에서 표준 베이지안 추론이 실패하는 문제를 해결하기 위해, 특히 고차원 또는 오특정된 설정에서의 성능 향상.
• 이전에 리지 회귀와 모형 선택에 효과적이었던 것으로 입증된 안전-베이지안 프레임워크를 일반선형 모형(GLMs)으로 확장하기 위해.
• 시뮬레이션 및 실제 데이터를 통한 실험적으로, 최적의 η를 가진 일반화된 베이지안이 라소와 로지스틱 회귀를 포함한 둘 다에서 표준 베이지안을 능가함을 입증하기 위해.
• 일반선형 모형에서 심한 노이즈 오특정 하에서도 일반화된 베이지안이 가장 잘 근사하는 모형 주위로 집중되는 이론적 조건을 설정하기 위해.
• 라소와 로지스틱 회귀에서 일반화된 베이지안 사후분포 샘플링을 위한 실용적인 몬테카를로 알고리즘 개발하기 위해.

제안 방법

• 학습률 η < 1을 도입하여 일반화된 베이지안 추론을 수행하며, 가능도를 p(y|x,θ)^η로 수정하여 사후 집중도를 정규화한다.
• 데이터로부터 최적의 η를 학습하기 위해 안전-베이지안 알고리즘을 적용하며, η ∈ {1, 0.9, ..., 0.5} 범위의 그리드 서치를 수행하고 예측 위험을 최소화하는 η를 선택한다.
• 베이지안 라소와 로지스틱 회귀에서 일반화된 사후 샘플링을 위한 몬테카를로 샘플러를 유도하여 실용적 구현을 가능하게 한다.
• 이론적 분석을 통해 \bar{\eta}-중앙 조건이 성립할 경우, 일반화된 베이지안이 η < \bar{\eta}일 때 진짜 분포의 모형 위로의 KL 투영 주위로 집중됨을 보였다.
• 응답 변수의 꼬리가 지수적으로 감소할 경우, 일반선형 모형에서 중앙 조건이 성립함을 증명하였으며, 이는 분류 및 많은 회귀 설정에서 성립한다.
• 표준 베이지안과 일반화된 베이지안 간의 성능 비교를 위해 예측 분산과 평균 제곱 오차를 몬테카를로 추정법으로 계산한다.

실험 결과

연구 질문

• RQ1 일반선형 모형, 특히 라소와 로지스틱 회귀에서 η < 1인 일반화된 베이지안 추론이 표준 베이지안보다 성능이 뛰어나게 되는가?
• RQ2 응답 분포의 꼬리가 지수적으로 감소하는 것과 같은 합리적인 가정 하에 일반선형 모형에서 \bar{\eta}-중앙 조건이 성립하는가?
• RQ3 데이터 기반의 η 선택을 통한 안전-베이지안 학습이 실제 데이터셋에서 표준 베이지안에 비해 일관된 성능 향상을 이끌 수 있는가?
• RQ4 라소나 호르쉐이프 같은 스파arsity 유도 사전분포는 오특정 하에서 실패하는가? 그리고 η < 1인 일반화된 베이지안이 이를 복구할 수 있는가?
• RQ5 일반선형 모형에서 일반화된 사후분포에 대한 몬테카를로 샘플러를 효과적으로 구성할 수 있는가? 이는 실용적 구현을 가능하게 하는가?

주요 결과

• 오특정된 노이즈가 있는 시뮬레이션 데이터에서, η = 0.5인 안전-베이지안 라소는 p = 100개의 예측 변수가 있는 상황에서도 표준 베이지안 라소(η = 1)보다 유의미하게 낮은 평균 제곱 오차를 기록하였다.
• 시애틀 weahter 데이터에서, 안전-베이지안 라소와 호르쉐이프는 10회의 반복 전반에서 표준 베이지안을 일관되게 능가하였으며, 안전-베이지안 방법은 어떤 경우에도 η = 1을 선택하지 않았다.
• 런던 대기오염 데이터에서, 학습된 η를 가진 안전-베이지안 라소는 20회의 반복 전반에서 표준 베이지안을 능가하였으며, 시간적 변화나 데이터 분포의 이동에 대해 강건함을 보였다.
• 로지스틱 회귀에서, 표본 크기가 증가하는 실험에서 일반화된 베이지안(η = 3)이 표준 베이지안(η = 1)보다 예측 성능이 뛰어났다.
• 이론적 결과로, 응답 분포의 꼬리가 지수적으로 감소할 경우 일반선형 모형에서 \bar{\eta}-중앙 조건이 성립함을 확인하였으며, 이는 분류에서 사용되는 모든 유한한 응답 변수를 포함한다.
• 안전-베이지안 알고리즘이 모든 데이터셋과 사전분포에서 일관되게 η < 1을 선택함에 따라, 오특정 하에서 표준 베이지안이 최적의 성능을 내지 못함을 시사한다.