[논문 리뷰] A General Method for Robust Bayesian Modeling

Chong Wang, David M. Blei|arXiv (Cornell University)|2015. 10. 17.

Bayesian Methods and Mixture Models참고 문헌 59인용 수 6

한 줄 요약

이 논문은 전역 매개변수를 국소화하고, 경험 베이즈를 사용해 초매개변수를 추정함으로써 표준 베이지안 모델을 강건한 버전으로 변환하는 일반적인 프레임워크를 제시한다. 이 방법은 변분 EM을 통해 확장 가능한 추론을 가능하게 하며, 일반선형모형과 토픽 모델 모두에서 노이즈가 많은 데이터에서 표준 모델과 기존의 강건한 모델(예: 음이이항 회귀)보다 성능을 크게 향상시킨다.

ABSTRACT

Robust Bayesian models are appealing alternatives to standard models, providing protection from data that contains outliers or other departures from the model assumptions. Historically, robust models were mostly developed on a case-by-case basis; examples include robust linear regression, robust mixture models, and bursty topic models. In this paper we develop a general approach to robust Bayesian modeling. We show how to turn an existing Bayesian model into a robust model, and then develop a generic strategy for computing with it. We use our method to study robust variants of several models, including linear regression, Poisson regression, logistic regression, and probabilistic topic models. We discuss the connections between our methods and existing approaches, especially empirical Bayes and James-Stein estimation.

연구 동기 및 목표

• 데이터 이상치 또는 가정 위반으로 인해 표준 모델이 실패하는 모델 불일치 문제를 해결하기 위해.
• 모델 유형에 따라 수기 유도가 필요 없는, 기존의 어떤 베이지안 모델이라도 강건한 변형으로 변환할 수 있는 일반 목적의 방법을 개발하기 위해.
• 일반적인 변분 EM 알고리즘을 사용해 강건한 모델의 확장 가능한 추론을 가능하게 하기 위해.
• 선형, 포아송, 로지스틱 회귀 및 토픽 모델을 포함한 다양한 모델에서 이 방법의 효과성을 입증하기 위해.

제안 방법

• 각 데이터 포인트에 개별 매개변수 βi를 할당하여 전역 매개변수를 국소화함으로써, 각 매개변수가 사전분포에서 독립적으로 벗어날 수 있도록 한다.
• 전역 매개변수 β를 각각의 개별 매개변수 βi로 대체하고, 각 βi가 공통 초매개변수 p(βi | α)에서 추출되도록 하여 이상치에 대한 강건성을 확보한다.
• 국소화된 모델 하에서 데이터의 주변 가능도를 최대화함으로써 경험 베이즈를 사용해 초매개변수 α를 추정한다.
• 강건한 모델에서 사후 추론을 수행하기 위해 변분 EM 알고리즘을 개발하며, 각 데이터 포인트의 매개변수 추정과 초매개변수 갱신을 번갈아 수행한다.
• 일반선형모형과 토픽 모델에 이 방법을 적용하여 그 일반성과 확장 가능성을 입증한다.
• 예측 가능도와 로그 가능도 지표를 사용해 보류된 데이터에서 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 모델 유형에 따라 수기 유도가 필요 없는, 어떤 베이지안 모델이라도 강건하게 만들 수 있는 일반적 방법을 개발할 수 있는가?
• RQ2 전역 매개변수의 국소화가 이상치 및 모델 불일치에 대해 강건성을 어떻게 향상시키는가?
• RQ3 경험 베이즈 초매개변수 추정이 노이즈가 많은 데이터에서 모델 성능을 얼마나 향상시키는가?
• RQ4 제안된 방법은 음이이항 회귀나 번지는 토픽 모델과 같은 기존의 강건한 모델과 비교해 어떻게 성능을 냈는가?
• RQ5 변분 추론을 사용해 대규모 데이터셋에 대해 이 방법을 효율적으로 확장할 수 있는가?

주요 결과

• 노이즈가 많은 데이터에서 예측 성능 측면에서 표준 포아송 회귀 모델과 음이이항 회귀 모델보다 강건한 모델이 유의미하게 뛰어난 성능을 보이며, 특히 로그 가능도와 L1 오차 지표에서 두드러진다.
• 성능 향상의 주요 원인은 국소화만으로는 아니고, 각 데이터 포인트의 분산을 적합하는 경험 베이즈 단계에 기인한다.
• 강건한 선형 회귀는 표준 모델보다 더 높은 예측 R2를 달성하며, 데이터 노이즈가 증가할수록 성능 향상이 더 두드러진다.
• 강건한 LDA는 PNAS, Science, 위키백과 코퍼스의 보류된 문서 세그먼트에서 표준 LDA보다 예측 로그 가능도에서 뛰어난 성능을 보였다.
• 이 방법은 복잡한 모델인 토픽 모델로도 효과적으로 일반화되며, 확장 가능성을 유지하면서 예측 정확도를 향상시킨다.
• 변분 EM은 효율적인 추론을 가능하게 하여 강건한 모델링 접근법을 대규모 응용에 실용적으로 만들었다.